目新しいことではないが、加速している。かつて「LLMは有用な推論に到達する手段として根本的に欠陥があり、そもそも一定の汎用性を持つ有用なツールを作る方法としても成り立たない」と主張していた人たちが、少しでも間違いを小さく見せようと論点をすり替え始めている。彼らはこう言う。「いま我々が目にしている進歩は、OpenAI o1やDeepSeek R1のようなモデルが、もはや単なるLLMではないからだ」と。これは誤りであり、このごまかしをできるだけ早く暴いておくことが重要だ。

まず、DeepSeek R1は（o1 / o3については触れたくない。非公開のもので我々がアクセスできないからだが、おそらく構造は同じだろう）純粋なデコーダオンリーの自己回帰モデルだ。あれほど強く批判された次トークン予測そのものである。モデルのどこにも、明示的な記号的推論や表現など存在しない。

さらに、R1 Zeroは一切の教師ありファインチューニングを必要とせずにR1と同等の推論能力を示した。思考の連鎖を生成し、それを報酬関数で評価して強化学習で改善するだけで、より高度な推論を学習するのに十分だったのだ。興味深いことに、この能力の一部はSFTによって小型モデルへも容易に蒸留されている。ここから次の論点につながる。

もう一つの根本的な観察は、S1論文が示したことだ。モデルが複雑な推論ステップを構築し、自明でない数学的問題を解けるようになるには、わずか1000件程度というごく少数の例で十分だという。S1とR1 Zeroは、モデルが推論を行うために必要な表現を、教師なしの次単語予測という学習目標だけで、すでに事前学習の段階で獲得していることを示唆している。

つまり、R1がその基本構造においてバニラなLLMであるというだけではない。教師なし事前学習が十分な表現と潜在能力を生み出すことで、十分に強力なLLMは、RL（あるいは軽微なSFT）によって、ユーザーが投げかける複雑な質問に答え（念頭にあるのはinstructモデルのことだが、これは古くからあるものの今なお驚くべき能力だ）、思考の連鎖を使って物事について推論し、より良い回答を提供することを学ぶのだ。

推論モデルは所詮LLMに過ぎない。そして、LLMは行き止まりだと断じた人たちは、単に間違っていたのだ。間違うこと自体は誰にでもある（今回はその間違い方がとりわけ攻撃的で、証拠をことさら否認するものだったとしても）。しかし、歴史や用語を書き換えてまで自分が正しかった側に立とうとする行為は、私にとって到底受け入れがたい。