これは新しい話ではありませんが、勢いを増しています。LLMは有用な推論に到達するうえで、また、ある程度の汎用性を持つ有用なツールを開発するうえで、根本的に欠陥のある方法だと以前は言っていた人たちが、自分たちの間違いを少しでも小さく見せようと、論陣を組み替え始めています。彼らはこう言います。「私たちが目にしている進歩は、OpenAI o1やDeepSeek R1のようなモデルが、単なるLLMではないから生じている」。これは誤りです。そして、彼らが作り出している神秘化は、できるだけ早く暴く必要があります。

まず、DeepSeek R1（o1／o3については、私たちはアクセスできない非公開のものなので触れたくありません。ただ、おそらく同じ仕組みでしょう）は、純粋なdecoder-onlyの自己回帰モデルです。強く批判されていた、あの次トークン予測と同じものです。モデルのどこにも、明示的な記号推論や記号表現は存在しません。

さらに、R1 Zeroは、教師ありファインチューニングを一切必要とせず、R1と同程度の推論能力を備えています。思考の連鎖を生成し、それを報酬関数による強化学習で改善するだけで、より強力な推論形式を学習するには十分でした。興味深いことに、こうした能力の一部はSFTによって小規模なモデルへ容易に蒸留できました。ここから次の点につながります。

もう一つの根本的な観察は、S1の論文が、モデルが複雑な推論の手順を組み立て、非自明な数学の問題を解けるようになり始めるには、ごく少数の例（わずか1000例程度）で十分だと示していることです。S1とR1 Zeroは、何らかの形で、モデルが事前学習の段階ですでに推論に必要な表現を学習していたことを示唆しています。しかも、その学習目標は教師なしの次の単語予測にすぎません。

つまり、R1は基本構造において単なる素のLLMであるだけではありません。教師なしの事前学習によって、十分な能力を持つLLMが、強化学習（および／または多少のSFT）を通じて、ユーザーが投げかける複雑な質問に答え（ここで言っているのは、古くからあるものの、いまだに印象的な能力であるインストラクションモデルのことです）、思考の連鎖を使って物事を推論し、よりよい回答を返すために必要な表現と可能性も、十分に形成されるのです。

推論モデルは単なるLLMです。そして、LLMは行き止まりだと言っていた人たちは、単に間違っていました。間違うこと自体はあります（今回の「間違い方」は、とりわけ攻撃的で、証拠を否定する姿勢が特に強かったとしてもです）。しかし、自分が正しい側にいたことにするために、歴史や用語を変えようとするのは、私にとって受け入れられないことです。