2025年末のAIを振り返って
原文は Salvatore Sanfilippo により に公開されました。 このブログを購読する
- 長年にわたり、機能的な証拠や科学的な示唆が積み重なっていたにもかかわらず、一部のAI研究者はLLMは確率的オウム（ストキャスティック・パロット）に過ぎないと主張し続けてきた。すなわち、1. プロンプトの意味について何の表象も持たず、2. 自分がこれから何を語ろうとしているかについても何の表象も持たない確率的な機械だという主張である。2025年になって、ようやくほぼ誰もそうは言わなくなった。
- Chain of Thought（思考の連鎖、CoT）は、今やLLMの出力を改善するための基本的な手法となった。だが、CoTとは何か。なぜ出力を改善するのか。私見では、それは二つのことだ。1. モデル内部の表現におけるサンプリング（すなわち、一種の内部探索）である。プロンプトのトピックに関連する情報や概念がコンテキストウィンドウに入れば、モデルはより適切に回答できるようになる。2. しかし、これに強化学習を組み合わせると、モデルは有用な回答へと収束するように、一つひとつのトークンを（各トークンがモデルの状態を変化させる）順に並べていくことを学習するのだ。
- スケーリングは手持ちのトークン数によって制限されるという考えは、検証可能な報酬を用いた強化学習によって、もはや成り立たなくなった。我々はまだAlphaGoの37手目のような瞬間には至っていないが、それが将来本当に不可能なのだろうか。たとえば与えられたプログラムを高速化するといったタスクのように、理論上、非常に明確な報酬シグナルによってモデルが極めて長い期間にわたって進歩し続けられるものもある。LLMに対する強化学習の改善こそが、AIにおける次の大きなブレイクスルーになると私は考えている。
- AI支援プログラミングに対するプログラマーの抵抗感は、かなり薄れてきた。LLMが間違いを犯すとしても、有用なコードやヒントを提供する能力は、多くの懐疑派が結局LLMを使い始めるほどまでに向上した。今や投資対効果は、より多くの人々にとって許容できるものになっている。プログラミングの世界は今も、LLMを同僚のように使う人々（たとえば、私自身のやり取りはすべてGeminiやClaudeなどのウェブインターフェース経由だ）と、LLMを自律的なコーディングエージェントとして使う人々とに分かれている。
- 著名なAI科学者の中には、Transformerで起きたことが別の道筋でもっとうまく再現できると信じ、Transformerに代わるものや、明示的な記号表現あるいは世界モデルを持つモデルを探求するためにチームや企業を立ち上げた者もいる。私は、LLMは離散的な推論ステップを近似できる空間上で訓練された微分可能な機械であり、根本的に新しいパラダイムが現れなくてもAGIに到達することは不可能ではないと考えている。AGIは、まったく異なる数多くのアーキテクチャによって独立に達成されうる可能性が高い。
- Chain of ThoughtがLLMの本質を根本的に変えたからこそ、自分たちはかつてLLMは非常に限定的だと主張していたが今は考えを変えたのだ、と言う者もいる。CoTによってLLMは今や別物になったのだと言う。彼らは嘘をついている。アーキテクチャは依然として同じで、目的とする次トークン予測も同じだ。CoTもまた、全く同じようにトークンごとに生成されているのだ。
- ARCテストは今日、当初考えられていたほど乗り越えがたいものには見えなくなった。手元のタスクに最適化された小規模なモデルがARC-AGI-1でまずまずの成績を収め、膨大なCoTを用いた非常に大規模なLLMがARC-AGI-2で目覚ましい成果を上げている。しかもそれは、多くの人がそのような成果は出せないはずだと考えていたアーキテクチャでのことだ。ARCはある意味で、反LLMテストからLLMを裏付けるものへと変わったのだ。
- 今後20年間におけるAIの根本的な課題は、絶滅を回避することだ。
コメント
ログインしてコメントする