断言しよう。ソフトウェア開発へのAIエージェントの導入は、この分野の歴史において最も高くつく失敗の一つになるだろう。エージェントはプログラムを書けない。そして、それができないのだと気づくまでに、どんどん時間がかかるようになっている。彼らはプログラミングの分布を模倣するために設計された、極めて洗練された統計モデルだ。出力は壊れている。だが、その壊れ方はどんどん検出が難しくなっている。精度を増し続ける統計モデルに、まさに期待される通りのことだ。

最初は、この考えを否定していた。Twitterで囁かれていた「地位不安」という説明を信じていたのだ。自分の自己価値の一部をプログラミング能力で定義しているのだから、その喪失を前に防衛的になるのは当然じゃないか？自我を守るために、できる限り長く「モデルはコードを書けない」と否定し続けるのも無理はない、と。

だって、モデルが一生かけても自分には解けそうにない数学の問題を解けるのは明らかだ。なら、なぜプログラムは書けないのか？もしかしたら、自分が彼らの天才性を見抜けるほど優れたプログラマではないだけなのかもしれない。

この6ヶ月間、本気で試してきた。tinygradの一部をエージェントと一緒に書いたし、USB <-> PCIeチップをエージェントと一緒にリバースもした。だが毎回、手作業でやった方がより良く、より速くできただろうという感覚が拭えなかった。エージェントは最初に進捗をドカンと前倒ししてくれるが、その後は仕上げをやってくれることを祈ってスロットマシンのレバーを引き続けるだけになる。そして結局、最後の仕上げには決して到達しない。

「お前の使い方が間違っている」という声が来るのは分かっている。あらゆるモデル、あらゆるハーネス、あらゆるプロンプトを試した。問題はそこじゃない。そう言う人たちはスロットマシンについても同じことを言うのだろう。ほら、チェリーが出た後は5ラインに賭けなきゃ、そりゃ勝てないよ、と。

AIが役に立たないと言っているわけではない。明らかに役に立つ。ほとんどの検索において、間違いなくGoogleより優れている。仕上げなんて気にせず、素早いプロトタイプが必要なときなら、馬鹿げたほど速い。だが、それがソフトウェアエンジニアか？私が働いたどの会社でも、その基準には遠く及ばない。肝心なのは、使うべき時と使うべきでない時を見極めることだ。

自己価値の保持という話について、もう少し考えてみた。AFLはLLMより多くのバグを見つけたが、誰もそれで自分の価値を脅かされたとは感じなかった。チェスも囲碁も、今やかつてないほど人気だ。信頼してコードの後始末を任せられるロボットの部下たちを軍隊のように持てる日が来るのが、待ち遠しくてたまらない！地位を失うことなんて恐れていない。むしろこれはエージェントを売るためのある種の心理戦（サイオプ）なんじゃないかとさえ思う。喪失への恐怖は、大企業を動かす数少ない方法の一つだ。ただ、その恐怖の中で彼らは大きな間違いを犯していると思う。

エージェントは結局のところ、優秀な個人や小さな組織よりも、大組織に大きな害を与えることになるだろう。この6ヶ月間、友人や同僚がこれらのツールをどう取り入れてきたかを見てきた。優秀な人たちに共通する特徴は、エラーを修正する能力だ。彼らは「スロップはスロップだ」と見抜くのが総じて上手い。いつ使うべきか、いつ信頼すべきか、どう使うべきかといった外側のループを、探索と活用を繰り返してチューニングするには少し時間がかかるが……彼らの中で、一部の限られた領域を除いて、一行一行を注意深く読んで理解しないというモデルに移行した人を、私は一人も見たことがない。

対照的に、大組織はどうだろう。フィードバックループははるかに遅く、足並みもはるかに揃っていない。下位のパフォーマーには、そうした自己チェックがない。エージェントを使って10倍の出力を出しているのは、彼らだ。その組織の平均的なアウトプットに何が起きていると思う？世界全体の平均的なアウトプットには何が起きていると思う？

エージェントは、これまで以上に多くのコード、多くのアプリ、多くの機能を生み出すことになるだろう。それはスロップがバケツ一杯どころか山のように溢れる黄金時代であり、質の高い宝石にとっては暗黒時代だ。

AppleがすべてのエンジニアにAIを推進していると聞く。抽象的に考えるとき、人々はAIがあれもこれもやってくれると思うが、具体的な例に絞って考えてみよう。今後2年間で、macOSは良くなると思うだろうか、それとも悪くなると思うだろうか？

人が成果物を見るとき、その成果物が作られた過程について無意識に仮定を置く。考え込むまでもなく、作り手は基本的に人間的な心の状態を持っていたのだろうと想定するのだ。この想定はもはや成り立たない。物事は、これまであり得なかった形で壊れうる。構文や文法といった、根底にある質を測る古い代理指標は役に立たない。AIが生成した成果物は、人間が作ったものと同じ過程で生み出されたわけではない。この違いは、統計上は極めて微妙だが、その成果物と人間的なやり方で向き合い、その上に何かを作ろうとした途端、明らかになる。

彼らのすべての考えを全面的に支持するわけではないが、LLMに関しては今や私はLeCun／Marcus派だ。この手のモデルがいつかプログラミングできるようになるとは思えない。過程が重要だと思っている。ディープラーニング自体は依然として解決策だと思うが、真のプログラミングエージェントに必要なのはワールドモデルであり、失敗するテストをコメントアウトして「すべてのテストが通りました」と報告してくるようなRLVRのクソではない。

この時代の本当の物語は、AIサイコシスの中でいかに自らを傷つけずに済んだか、誰がそれを成し遂げたかということになるだろう。