중국 AI 랩 Moonshot AI가 오늘 아침 Kimi K3를 발표하며 이를 “지금까지 가장 뛰어난 모델로, 2.8조 개의 파라미터를 갖췄다”고 소개했습니다. 현재 웹사이트와 API를 통해 이용할 수 있지만, 오픈 웨이트 공개는 “2026년 7월 27일까지”로 약속되어 있습니다.

Moonshot은 이를 첫 번째 “오픈 3T급 모델”이라고 부르고 있습니다(2.8조를 3조로 올림한 것 같네요). 이로써 DeepSeek 1.6T v4 Pro가 갖고 있던 왕좌를 가져왔습니다. 자체 벤치마크에 따르면 K3는 대부분 Claude Opus 4.8 max와 GPT-5.5 high를 앞서는 반면, Claude Fable 5와 GPT-5.6 Sol에는 밀립니다.

Artificial Analysis 보고서에서 눈에 띄는 몇 가지 내용은 다음과 같습니다:

• “프라이빗 장기 지식 작업 평가에서 Kimi K3는 전체 Elo 1547점을 기록했으며, 이는 Kimi K2.6보다 732점 높은 수치이고 Claude Fable 5에만 뒤처집니다.”
• “작업당 비용($0.94)은 GPT-5.6 Sol($1.04)과 비슷하고, Opus 4.8($1.80)의 약 절반이며 오픈 웨이트 모델들보다는 비쌉니다”
• “Artificial Analysis Intelligence Index에서 Kimi K3의 토큰 사용량이 크게 감소해, K2.6보다 출력 토큰을 21% 적게 사용했습니다.”

이 모델은 현재 Arena.ai의 Frontend Code 아레나에서도 1위를 차지하며 Claude Fable 5마저 제쳤습니다.

이 신모델은 가격 측면에서도 눈에 띕니다. 입력 토큰 100만 개당 3달러, 출력 토큰 100만 개당 15달러로 Anthropic의 Claude Sonnet 시리즈와 같은 수준이며, 중국 AI 랩이 출시한 모델 중 지금까지 가장 비싼 가격입니다. 이는 Kimi K2.6 같은 이전 모델의 0.95달러/4달러에 비해 크게 오른 것이며, 2.8조 파라미터 역시 해당 1T 모델의 두 배가 넘습니다.

그런데 펠리컨은 어떨까?

Moonshot API 키를 새로 발급받는 번거로움을 피하려고 OpenRouter와 llm-openrouter 플러그인을 이용해 자전거를 타는 펠리컨 SVG를 생성해 봤습니다:

llm -m openrouter/moonshotai/kimi-k3 'Generate an SVG of a pelican riding a bicycle'

전체 대화 기록은 여기에 있습니다. 결과는 이렇게 생겼습니다:

이 펠리컨 하나에 입력 토큰 95개와 출력 토큰 16,658개(그중 13,241개는 추론 토큰)가 들었으며, 총 비용은 25센트였습니다!

K3가 이미지 입력을 지원하는 만큼, 위에 렌더링된 SVG를 가지고(제 대체 텍스트 프롬프트로) 다시 실행해 봤더니 다음과 같은 결과가 나왔습니다(0.6센트):

빨간 스카프를 두른 하얀 펠리컨이 흰색 점선이 있는 회색 도로 위에서 빨간 자전거를 타는 카툰 일러스트; 펠리컨은 큰 주황색 부리와 페달을 밟는 물갈퀴 달린 주황색 발을 가지고 있으며 뒤에는 흰색 움직임 선이 있다; 배경에는 연하늘색 하늘과 흰 구름, 노란 태양, 날고 있는 작은 검은 새 두 마리, 그리고 전경에 작은 흰 꽃이 핀 녹색 풀이 보인다

펠리컨에게서 무엇을 배울 수 있을까?

제가 만든 “자전거를 타는 펠리컨 SVG를 생성하라” 테스트는 이제 21개월이나 됐습니다. 애초에 그리 훌륭한 벤치마크는 아니었습니다. 이 모델들을 비교하는 게 얼마나 터무니없이 어려운지를 보여주는 농담으로 시작했는데, 첫 1년 동안은 실제 모델 성능과 놀랍게도 상관관계가 높게 나타나기도 했습니다.

이제 그 연결 고리는 대부분 끊어졌습니다. GPT-5.6과 Claude Fable 5의 펠리컨은 GLM-5.2에 밀리고, GLM을 아무리 좋아해도 그걸 Fable급 모델이라고는 생각하지 않습니다.

(랩들이 이 벤치마크에 맞춰 학습하고 있다고는 아직 확신하지 않습니다. 그랬다면 훨씬 더 좋은 결과가 나왔겠죠. 다만 Gemini가 탈것 위의 동물이라는 어떤 조합이든에 대해 최적화했을 가능성은 있습니다!)

펠리컨의 가장 큰 한계는 오늘날 모델에 가장 중요한 것, 즉 에이전트형 도구 호출과 대화가 길어질수록 도구를 안정적으로 다루는 능력을 전혀 다루지 않는다는 점입니다.

그러니 펠리컨으로 모델을 비교하지 마세요!

그렇다고 해도, 직접 이 벤치마크를 돌려보는 것만으로도 꽤 많은 가치를 얻습니다.

첫째, 모델을 실제로 써보게 만드는 강제 장치입니다. 제가 펠리컨을 보여준다는 건 프롬프트를 모델에 돌려보는 데 성공했다는 뜻입니다. 공식 API가 있으면 그걸 쓰고, 오픈 웨이트 모델이면서(그리고 128GB M5 MacBook Pro에 들어갈 만큼 작다면) 제 머신에서 직접 실행해 보기도 하는데, 보통 llama.cpp나 LM Studio, Ollama를 이용합니다. OpenRouter도 자주 쓰는데, 대개 새로운 API 키 없이도 공식 API를 프록시로 이용할 수 있기 때문입니다.

제 펠리컨 대부분은 제 LLM CLI 도구로 생성하는데, 이를 통해 최신 모델이(플러그인 중 하나를 통해) 해당 도구에서 지원되도록 하는 데도 도움이 됩니다.

더 중요한 점은, “자전거를 타는 펠리컨 SVG를 생성하라”는 단 한 줄의 프롬프트만으로도 흥미로운 모델 특성을 드러낼 수 있다는 것입니다.

Kimi K3의 오늘 결과를 예로 들어 보겠습니다. 이런 단순한 프롬프트를 실행하는 것만으로도 모델에 대한 몇 가지 특징이 뚜렷해졌습니다.

1. 현재 추론 강도(reasoning effort)는 “max” 하나뿐인데, 그게 고스란히 드러납니다. 모델은 3,417토큰의 응답을 출력하기 위해 13,241개의 추론 토큰을 소모했습니다. 비용이 많이 듭니다. 이 펠리컨 한 장에 25센트가 들었습니다!
2. “Generate an SVG of a pelican riding a bicycle”라는 프롬프트가 어떻게 입력 토큰 95개가 될까요? OpenAI의 토크나이저는 10개로 세고, Anthropic은 Opus 4.6에서 10개, Opus 4.7에서 30개, Sonnet 5/Fable 5에서 25개로 셉니다. Kimi K3에 “hi”라고 프롬프트했을 때 86토큰으로 집계된 것을 보면 85토큰짜리 숨겨진 시스템 프롬프트가 있을 가능성이 있습니다. 다만 유출을 거부하더군요.
3. 비전은 잘 동작합니다. 생성한 대체 텍스트가 아주 좋습니다.

K3는 현재 사고 노력 수준이 하나뿐이지만, 최근에는 같은 펠리컨 프롬프트를 서로 다른 노력 수준으로 돌려보며 그 영향을 빠르게 가늠하는 것만으로도 꽤 많은 가치를 얻고 있습니다. 예를 들어 GPT-5.6 모델 패밀리에 대한 제 매트릭스는 다음과 같습니다.

사실 펠리컨 테스트를 통해 제가 얻는 가장 큰 것들은 다음과 같습니다:

1. 모델에 프롬프트를 보내보는 “헬로 월드” 연습
2. 간단한 작업에 대한 대략적인 비용과 추론량 가늠
3. 모델이 유효한 SVG를 출력할 수 있고 기하학과 공간 감각에 대한 기본적인 이해가 있음을 확인하는 것. 이는 제 노트북에서 돌아가는 작은 모델들에게는 훨씬 더 중요한 문제입니다.
4. 같은 모델 패밀리 내에서 릴리스 간 펠리컨을 비교하는 것도 여전히 흥미롭습니다. K3의 펠리컨은 Kimi 2.5보다 눈에 띄게 개선됐습니다.
5. 제가 실제로 모델을 써봤다는 것을 보여줄 수 있는 공유할 거리가 생긴다는 점입니다. 게다가 펠리컨이 들어간 댓글은 이제 Hacker News에서 일종의 전통이 되었고, 제가 늦을 때마다 어디 있냐고 묻는 댓글이 달립니다!