Kimi K3と、ペリカンベンチマークから今なお学べること
原文は Simon Willison により に公開されました。 このブログを購読する
中国のAIラボであるMoonshot AIが今朝、Kimi K3を発表しました。「これまでで最も高性能なモデルで、パラメータ数は2.8兆」としています。現在はウェブサイトとAPI経由で利用可能ですが、オープンウェイト版は「2026年7月27日まで」に公開される予定とのことです。
Moonshotはこれを初の「オープンな3Tクラスモデル」と呼んでいます(2.8兆を3兆に切り上げているのでしょう)、DeepSeekの1.6T v4 Proから王座を奪った形です。自己申告のベンチマークによると、K3はClaude Opus 4.8 maxやGPT-5.5 highにはおおむね勝利している一方、Claude Fable 5やGPT-5.6 Solには及ばないとされています。
このモデルに関するArtificial Analysisのレポートから、いくつかのハイライトを紹介します:
- 「非公開の長期的なナレッジワーク評価において、Kimi K3は総合Elo 1547を記録し、Kimi K2.6から732ポイント上昇、Claude Fable 5に次ぐ順位となった」
- 「タスクあたりのコスト(0.94ドル)はGPT-5.6 Sol(1.04ドル)と同程度で、Opus 4.8(1.80ドル)の約半額、オープンウェイトの競合モデルよりは高め」
- 「Artificial Analysis Intelligence IndexにおけるKimi K3のトークン使用量は大幅に減少し、K2.6より出力トークンが21%少なくなった」
また、このモデルはArena.aiのFrontend Codeアリーナで首位に立ち、Claude Fable 5をも上回っています。
新モデルで注目すべきは価格設定です。入力トークン100万あたり3ドル、出力トークン100万あたり15ドルで、AnthropicのClaude Sonnetシリーズと同水準、中国のAIラボがこれまでにリリースしたモデルの中で最も高価となっています。これはKimi K2.6などの従来モデル(0.95ドル/4ドル)から大幅な値上げです。パラメータ数2.8兆も、あの1Tモデルの2倍以上にあたります。
では、ペリカンはどうだろう?
(MoonshotのAPIキーを新規に取得するのを避けるため)OpenRouterとllm-openrouterプラグインを使って、自転車に乗るペリカンのSVGを生成してみました:
llm -m openrouter/moonshotai/kimi-k3 'Generate an SVG of a pelican riding a bicycle'トランスクリプトはこちらです。出来上がりはこんな感じです:

このペリカンの生成には入力トークン95、出力トークン16,658(うち13,241は推論トークン)がかかり、合計コストは25セントでした!
K3は画像入力に対応しているので、上でレンダリングしたSVGを(私のaltテキスト用プロンプトを使って)渡してみたところ、こんな結果が返ってきました(コストは0.6セント):
白いペリカンが赤いスカーフを巻き、灰色の道路の白い破線に沿って赤い自転車に乗っているカートゥーン調のイラスト。ペリカンは大きなオレンジ色のくちばしと水かきのあるオレンジ色の足でペダルを漕ぎ、後ろには白い動きを示す線がある。背景には薄い青空に白い雲、黄色い太陽、飛んでいる2羽の小さな黒い鳥、手前には小さな白い花が咲く緑の草がある
ペリカンから何が学べるのか?
私の「自転車に乗るペリカンのSVGを生成する」テストは、始めてからもう21カ月が経ちます。もともと特に優れたベンチマークだったわけではありません。これらのモデルを比較するのがいかに馬鹿げたほど難しいかというジョークとして始めたのですが、最初の1年間は実際のモデルの良し悪しと驚くほど相関することが分かったのです。
その関係性は今ではほぼ断たれています。GPT-5.6やClaude Fable 5のペリカンはGLM-5.2に凌駕されていますが、GLMが好きな私でも、それがFableクラスのモデルだとは思いません。
(各ラボがこのベンチマークのために学習させているとは今でも思っていません。もしそうなら、もっと良い結果が出るはずです。ただ、Geminiが「乗り物に乗った動物」のあらゆる組み合わせに最適化している可能性はありますが!)
ペリカンの最大の限界は、今日のモデルにとって最も重要なこと、すなわちエージェント的なツール呼び出しや、会話が長くなる中でもツールを確実に操作する能力にまったく触れていない点です。
ですから、モデルの比較にペリカンを使わないでください!
とはいえ、私自身はこのベンチマークを実行することから今でもそれなりに価値を得ています。
まず、実際にモデルを試すための強制装置になるという点です。もし私がペリカンをお見せしているとしたら、それはそのモデルにプロンプトを通すことに成功したという意味です。モデルに公式APIがあればそれを使いますし、オープンウェイトで(128GBのM5 MacBook Proに収まるくらい小さければ)自分のマシンで動かしてみます。通常はllama.cppやLM Studio、Ollama経由です。OpenRouterをよく使うのは、大抵の場合、新しいAPIキーを取得しなくても公式APIへのプロキシとして機能してくれるからです。
私のペリカンのほとんどは自作のLLM CLIツールを使って生成しており、これにより(プラグイン経由で)最新モデルに同ツールが対応していることを確認する動機付けにもなっています。
さらに重要なのは、「自転車に乗るペリカンのSVGを生成して」というたった一つのプロンプトを送るだけでも、モデルの興味深い特性が明らかになることです。
今日のKimi K3の結果を考えてみましょう。こうしたシンプルなプロンプトを実行することで、このモデルについていくつかの点が浮き彫りになりました。
- 現時点では推論エフォートは「max」の1種類しかなく、それがはっきり表れています。このモデルは3,417トークンのレスポンスを出力するために13,241の推論トークンを消費しました。これは高コストです——ペリカン1つで25セントもかかったのです!
- 「Generate an SVG of a pelican riding a bicycle」というプロンプトがなぜ入力トークン95にもなるのでしょうか。OpenAIのトークナイザーでは10トークン、AnthropicのものではOpus 4.6で10、Opus 4.7で30、Sonnet 5/Fable 5で25とカウントされます。Kimi K3に「hi」とだけプロンプトしたところ86トークンとカウントされたことから、85トークン分の隠されたシステムプロンプトがある可能性が示唆されます。ただ、それを漏らすことは拒否しました。
- Visionはよく機能しています。生成されたaltテキストは非常に優れています。
K3は現在思考エフォートのレベルが1つしかありませんが、最近は同じペリカンプロンプトを異なるエフォートレベルで実行し、それがどんな影響を与えるかを素早く把握することから、かなり価値を得ています。例えば、GPT-5.6モデルファミリーについての私のマトリックスがこちらです。
とはいえ、ペリカンテストから私が本当に得ているものは主に次のようなことです:
- モデルにプロンプトを送るための「hello world」的な練習になること
- シンプルなタスクにかかるコストと推論量のざっくりとした見積もりが得られること
- モデルが有効なSVGを出力でき、幾何学や空間認識について基本的な理解を持っていることを確認できること。これは私のラップトップで動くような小型モデルにとっては、とりわけ大きな意味を持ちます。
- 同じモデルファミリー内でのリリース間でペリカンを比較するのが今でも面白いこと。K3のペリカンはKimi 2.5から顕著に改善しています。
- 試したことを示すために共有できるものであること。加えて、ペリカン入りのコメントはもはやHacker Newsでのちょっとした伝統のようなもので、投稿が遅れると「ペリカンはどこだ」とコメントが付くのです!
記事をランダムに読む
コメント
ログインしてコメントする