コーディング、数学、その他諸々。では、LLMは物理実験の結果を予測できるだろうか。

8オンス（226.8g）の沸騰したお湯を、重さ1.25ポンド（0.57kg）の陶器製コーヒーマグに注ぐとします。周囲の空気は無風で20℃です。カップは室温から始まります。水の温度を摂氏で時間の関数として表す式を教えてください。式の中で自由にできる変数は、お湯を注いでからの経過秒数tだけにしてください。最初の5分間の精度を重視してください。

難しそうに聞こえるだろうか？僕は難しいと思う。関係する物理現象は、少なくとも次のようなものがある。

1. 水、マグカップ、空気、テーブルの間での熱伝導。
2. それぞれの物体の内部での熱伝導。
3. 水や空気の内部での対流（流体の動き）。
4. 水分子が蒸気になる際の気化冷却。
5. 空気中での水蒸気の移動。
6. 放射。（あらゆる物質と同様、マグカップも水も温度に応じた赤外線を放射する。）
7. 表面張力、熱膨張・収縮、水が冷えるにつれて空気が再び溶け込む現象、おそらく他にもいろいろ。

しかも、プロンプトでは多くの詳細が指定されていない。マグカップは磁器製か炻器製か？マグカップの形は？テーブルは何でできているのか？空気の湿度は？空間的にばらつく水温をどうやって一つの数値にまとめているのか？

つまりこれは、考えれば「正解」が見つかるような問題ではない。現実は複雑すぎるのだ。むしろこの問いに答えるには「センス」が求められる――どの要因が最も重要かを見極め、欠けている詳細について仮定を置く、といったことだ。

そこで、この質問をいくつかのLLMに投げてみた。返ってきた答えがこれだ。

（厳密には、モデルはテキストで数式を返してきた。それを私がグラフにプロットしている。）

これらの曲線には驚かされた。最初の温度の下がり方がどれだけ速いかという点でも、その後の下がり方がどれだけゆっくりかという点でも。最初の数分間で、残りの1時間と同じくらい冷めると彼らは考えているのだ。これが正しいのだろうか？

そこで実験してみた。まず、室温がちょうど20℃になるのを待った。次に、計量カップに8オンスの水を入れ、沸騰するまで電子レンジで加熱し、少し温度が均一になるのを待ってから、再び沸騰するまで電子レンジにかけた。それから、そのお湯をデジタル温度計を入れた1.25ポンドのコーヒーマグに注ぎ、5秒ごとに温度を叫び、それをDynomight Biologistが必死に記録した。徐々に測定間隔を15秒、30秒、1分、そして5分へと延ばしていった。

ご覧あれ。

あるいは、最初の5分間を拡大したのがこちらだ。

予測はどれもまずまずだったが、素晴らしいものはなかった。おそらくClaude 4.6 Opusが最も良かったが、トークン代が0.61ドルかかっている。（物理実験／国防総省／金／コーヒーについてのジョークをここに挿入。）

とはいえ、予測について驚いたのは、最初の数分間で温度がどれだけ急速に下がり、その後どれだけゆっくり下がるかということだった。しかし実験では、序盤はさらに速く下がり、終盤はさらにゆっくり下がった。だから、もし自分の直感とLLMをアンサンブルするとしたら、自分の直感の重みはゼロになるのだろう。

結論として、彼らが我々の数学を奪うことはあっても、我々の微細な運動制御を奪うのはもう少しゆっくりになりそうだ。中学生の自由研究のような記事を最後まで読んでいただき、ありがとう。