DwarfStar 4(https://github.com/antirez/ds4)가 이렇게 빨리 인기를 끌 줄은 몰랐다. 단일 모델 통합에 초점을 맞춘 로컬 AI 경험에 대한 수요가 분명히 있었고, 몇 가지 일이 동시에 맞아떨어졌다는 게 분명하다. 로컬 추론의 판도를 바꿀 만큼 크고 빠른 준 프론티어 모델이 등장한 것, 그리고 2/8비트라는 극단적으로 비대칭적인 양자화 레시피와 궁합이 매우 잘 맞아 96GB나 128GB RAM만으로 구동할 수 있다는 점이다. 그리고 물론 지난 몇 년간 로컬 AI 커뮤니티가 쌓아온 모든 경험이 GPT 5.5 덕분에 훨씬 더 빠르게 활용될 수 있었다는 점도 있다(그렇지 않았다면 일주일 만에 DS4를 만들 수는 없었을 것이다 — 그리고 이런 도움을 모두 받더라도 LLM과 부드럽게 대화하는 법을 알아야 한다).

지난주는 재미있기도 하고 지치기도 했다. 하루 평균 14시간씩 일했다. Redis 초기부터 내 평소 평균은 하루 4~6시간인데, Redis를 처음 만들던 몇 달은 이렇게 일했었다.

그래서 다음은 무엇일까? 이 프로젝트가 DeepSeek v4 Flash 하나로 시작해서 끝나는 프로젝트일까? 그렇지 않다. 모델은 시간이 지나며 바뀔 수 있다. 내가 그리는 그림에서는 하이엔드 Mac이나 “GPU in a box” 장비(DGX Spark 같은)에서 *실질적으로 빠른* 현시점 최고의 오픈 웨이트 모델이 그 자리를 차지하게 된다. 다음 주자는 새로 공개될 체크포인트의 DeepSeek v4 Flash 자체일 거라고 본다. 운이 좋다면 코딩에 특화된 버전도 나오고, 어쩌면 다른 전문가 변형 모델들(MoE의 expert라는 뜻이 아니라)도 나올지 모른다. 결국 로컬 추론에서는 질문에 따라 필요한 것만 불러 쓰면 되는 ds4-coding, ds4-legal, ds4-medical 같은 모델이 있는 것이 아주 합리적이다.

로컬 추론을 만지기 시작한 이래 — 정말 처음부터 만져 왔다 — 처음으로 평소라면 Claude나 GPT에 물었을 법한 진지한 일에 로컬 모델을 쓰고 있는 나를 발견했다. 이건 정말 큰 일이라고 생각한다. 또 벡터 스티어링을 활용해 LLM을 훨씬 더 자유롭게 쓸 수 있는 경험을 하게 된 것도 처음이다. DeepSeek v4 Flash는 정말 인상적인 모델이다, 의심할 여지가 없다. 머릿속에 괜찮은 소형 로컬 모델 경험을 A, 온라인에서 쓰는 프론티어 모델을 B라고 상상해 본다면, DS4는 A보다 훨씬 B에 가깝다. 솔직히 다음 릴리스가 정말 기다려진다(참고로, DeepSeek 고맙다).

그 혼란스러웠던 첫 며칠을 지나 이제 프로젝트가 다음에 집중했으면 한다. 품질 벤치마크, 어쩌면 프로젝트의 일부가 될 코딩 에이전트 추가, 장기적인 품질을 보장하기 위해 CI 테스트를 돌릴 수 있는 집 안의 하드웨어 구축, 더 많은 포팅, 그리고 마지막으로 매우 중요한 지점인 분산 추론(직렬과 병렬 모두)이다.

일단 지금까지 보내준 모든 응원에 고맙다. 정말 큰 힘이 됐다 :) AI는 그저 제공되는 서비스로만 남기에는 너무나 중요하다.