DwarfStar 4(https://github.com/antirez/ds4)가 이렇게 빨리 인기를 얻을 줄은 예상하지 못했다. 단일 모델 통합에 초점을 둔 로컬 AI 경험에 대한 수요가 분명히 존재했음이 드러났고, 몇 가지 일이 동시에 맞물렸다. 로컬 추론의 판도를 바꿀 만큼 크고 빠른 준 프론티어 모델이 출시된 것, 그리고 2/8비트라는 극도로 비대칭적인 양자화 레시피와 매우 잘 맞아 96GB나 128GB RAM만으로도 구동할 수 있다는 점이다. 그리고 물론 최근 몇 년간 로컬 AI 움직임이 축적해 온 모든 경험이 있다. GPT 5.5 덕분에 이를 훨씬 더 신속하게 활용할 수 있었다(그렇지 않았다면 일주일 만에 DS4를 만들 수는 없었을 것이다 — 그리고 이런 도움조차도 LLM과 부드럽게 대화하는 법을 알아야 비로소 쓸모가 있다).

지난 한 주는 재밌기도 했고 피곤하기도 했다. 하루 평균 14시간씩 일했다. Redis 초창기부터 내 평소 평균은 하루 4~6시간 정도지만, Redis의 첫 몇 달도 이와 같았다.

그럼 앞으로는 어떻게 될까? 이 프로젝트가 DeepSeek v4 Flash로 시작해 끝나는 것일까? 그렇지 않다. 모델은 시간이 지나며 바뀔 수 있다. 내 구상에서 이 자리는 하이엔드 Mac이나 DGX Spark 같은 “GPU in a box” 장비에서 *실용적으로 빠른* 최신 오픈 웨이트 모델이 차지하게 될 것이다. 다음 주자는 새로 공개될 체크포인트의 DeepSeek v4 Flash 자체가 될 거라 본다. 가능하다면 코딩에 특화된 버전, 그리고 어쩌면 다른 전문가용 변형(MoE의 expert라는 의미가 아닌)도 나올지 모른다. 어차피 로컬 추론에서는 질문에 따라 필요한 것만 불러와 쓰는 ds4-coding, ds4-legal, ds4-medical 같은 모델이 있는 것이 매우 합리적이다.

로컬 추론을 가지고 놀기 시작한 이래(처음부터 해왔다) 처음으로, 평소라면 Claude나 GPT에 물었을 법한 진지한 작업을 로컬 모델로 처리하는 나 자신을 발견했다. 이건 정말 큰 일이라고 생각한다. 또 벡터 스티어링을 활용해 LLM을 한층 더 자유롭게 쓸 수 있는 경험을 하게 된 것도 처음이다. DeepSeek v4 Flash는 정말 인상적인 모델이며, 의심의 여지가 없다. 작지만 쓸 만한 로컬 모델 경험을 A, 온라인에서 쓰는 프론티어 모델을 B라고 상상해 본다면, DS4는 A보다 훨씬 더 B에 가깝다. 솔직히 다음 릴리스가 기다려진다(그나저나, 고마워요 DeepSeek).

그 혼란스러웠던 첫 며칠을 지나, 이제 프로젝트가 다음에 집중하길 바란다. 품질 벤치마크, 어쩌면 프로젝트의 일부가 될 코딩 에이전트 추가, 장기적인 품질을 보장하기 위해 CI 테스트를 실행할 수 있는 집 안의 하드웨어 구축, 더 많은 포팅, 그리고 마지막이지만 매우 중요한 지점인 분산 추론(직렬과 병렬 모두)이다.

일단은 그동안 보내준 모든 응원에 감사드린다. 정말 큰 힘이 됐다 :) AI는 그저 제공되는 서비스로만 남기에는 너무나 중요한 기술이다.