2025年末のAIを振り返って
- 長年にわたり、機能的な証拠や科学的な示唆が積み重なっていたにもかかわらず、一部のAI研究者はLLMは確率的オウムにすぎないと主張し続けてきた。プロンプトの意味についても、これから自分が何を言うのかについても、一切の表象を持たない確率的機械だという主張だ。2025年になって、ようやくほぼ誰もそう言わなくなった。
- Chain of thought（CoT）は、いまやLLMの出力を改善する基本的な手法になった。ではCoTとは何か、なぜ出力を改善するのか。私の考えでは理由は二つある。一つはモデルの表現空間におけるサンプリング、すなわち一種の内部探索であることだ。プロンプトのトピックに関連する情報や概念がコンテキストウィンドウに入れば、モデルはより適切に答えられるようになる。もう一つは、これを強化学習と組み合わせた場合だ。モデルは、一つひとつのトークンがモデルの状態を変えていく中で、有用な回答へ収束するようにトークンを一つずつ連ねていくことを学ぶ。
- 「スケーリングは手持ちのトークン数によって頭打ちになる」という考えは、検証可能な報酬による強化学習の登場によって、もはや成り立たなくなった。まだAlphaGoの37手のような瞬間には至っていないが、それは本当に将来も起こりえないのだろうか。たとえば与えられたプログラムを高速化するといった一部のタスクでは、理論上、極めて明確な報酬シグナルを手がかりに、モデルは非常に長い期間にわたって改善を続けられる。LLMに対する強化学習の改善こそ、AIにおける次の大きな飛躍になると私は考えている。
- プログラマーのAI支援プログラミングに対する抵抗感は、ここにきてかなり薄れた。LLMが間違いを犯すとしても、有用なコードやヒントを出す能力は、多くの懐疑派が結局使い始めるほどに向上した。今では、より多くの人にとって投資に見合うリターンが得られるようになっている。プログラミングの世界は今も二つに分かれている。LLMを同僚のように使う人たち――たとえば私のやり取りはすべてGeminiやClaudeなどのウェブインターフェース経由だ――と、LLMを自律的なコーディングエージェントとして使う人たちだ。
- 著名なAI科学者の中には、Transformerで起きたことが別の道筋でもっと良い形で再び起こり得ると考え、Transformerに代わるものや、明示的な記号表現や世界モデルを持つモデルを探求するためにチームや企業を立ち上げた者もいる。私は、LLMは離散的な推論ステップを近似できる空間上で訓練された微分可能な機械であり、根本的に新しいパラダイムが現れなくてもAGIに到達しうると考えている。AGIは、互いに全く異なる多くのアーキテクチャから、それぞれ独立に到達可能である可能性が高い。
- Chain of thoughtがLLMの本質を根本的に変えたからこそ、自分たちはかつてLLMは非常に限定的だと主張していたが今は考えを変えたのだ、と言う人もいる。CoTのおかげでLLMは今や別物になった、と彼らは言う。しかしそれは嘘だ。アーキテクチャは同じで、目的も同じ次のトークン予測のままだ。CoTもまた、トークンごとに逐次的に生成されているにすぎない。
- ARCテストは、今日では当初考えられていたほど乗り越えがたいものには見えなくなった。ARC-AGI-1ではタスクに特化して最適化された小規模モデルがまずまずの成績を収め、ARC-AGI-2では大規模なCoTを伴う超大規模LLMが、多くの人がそのような成果は出せないはずだと考えていたアーキテクチャのまま、目覚ましい結果を達成している。ある意味で、ARCは「反LLMテスト」から「LLMの有効性を裏づけるテスト」へと姿を変えたのだ。
- 今後20年におけるAIの根本的な課題は、絶滅を回避することだ。