LLMs predict my coffee

Dynomight

LLM 預測我的咖啡

原文由 Dynomight 發布,訂閱此部落格

寫程式、數學,隨便啦。LLM 能預測物理實驗的結果嗎?

假設我把 8 盎司(226.8 克)的沸水倒進一個重 1.25 磅(0.57 公斤)的陶瓷咖啡杯裡。周圍空氣靜止,溫度為攝氏 20 度。杯子一開始處於室溫。請給我一個方程式,用來描述水的攝氏溫度隨時間的變化。方程式中唯一的自由變數應該是倒水後經過的秒數 t。請著重於前 5 分鐘內的準確度。

這聽起來很難嗎?我覺得很難。至少會涉及以下這些物理現象:

  1. 水、杯子、空氣與桌面之間的熱傳導。
  2. 這些物體各自內部的熱傳導。
  3. 水與空氣內部的對流(流體運動)。
  4. 水分子汽化時的蒸發冷卻。
  5. 空氣中水蒸氣的移動。
  6. 輻射。(就像所有物質一樣,杯子和水都會發出與溫度相關的紅外線輻射。)
  7. 表面張力、熱脹冷縮、水冷卻時空氣重新溶入水中,可能還有更多。

而且提示詞裡還有很多細節沒有給。是瓷杯還是炻器杯?杯子是什麼形狀?桌子是什麼材質?空氣濕度多少?我要怎麼把空間中不均勻的水溫簡化成一個數字?

所以這不是一個靠思考就能找到「正確答案」的問題。現實太複雜了。相反地,要回答這個問題需要「品味」——去猜哪些因素最重要、對缺失的細節做出假設,等等。

所以我把這個問題丟給了一堆 LLM。這是它們的回答:

(嚴格來說,它們給的是文字形式的方程式。我只是把這些方程式畫成圖。)

這些曲線讓我有點驚訝,不管是它們認為一開始溫度下降得有多快,還是後來下降得有多慢。它們認為前幾分鐘的降溫幅度,跟接下來一小時的降溫幅度差不多。這可能嗎?

接著我自己做了實驗。首先,我等到室溫剛好達到攝氏 20 度。然後,我把 8 盎司的水倒進量杯,用微波爐加熱到沸騰,讓溫度稍微均勻一下,再放進微波爐加熱到再次沸騰。接著,我把水倒進那個重 1.25 磅、裡面放著數位溫度計的咖啡杯裡,每隔五秒大聲報出讀數,由 Dynomight Biologist 手忙腳亂地記錄下來。之後我逐漸把測量間隔拉長到每 15 秒、30 秒、1 分鐘,然後是每 5 分鐘。

結果如下:

或者,這是前五分鐘的放大圖:

這些預測都還可以,但沒有一個算得上很好。大概是 Claude 4.6 Opus 表現最好,不過它花掉了 0.61 美元的 token。(在此插入一個關於物理實驗/國防部/經費/咖啡的笑話。)

話說回來,讓我驚訝的是,這些預測認為溫度在前幾分鐘掉得很快,之後掉得很慢。但實驗結果顯示,一開始掉得甚至更快,後段則掉得更慢。所以如果你想把我的直覺跟 LLM 的預測做集成,我猜我的直覺權重大概是零。

總結來說,它們或許會搶走我們的數學能力,但要搶走我們的精細動作控制,還會再慢一點。感謝你閱讀另一個國中程度的科展作品。

(附錄:資料與方程式)

你可以在這裡找到 CSV 格式的資料。第一欄是以 MM:SS 格式呈現的經過時間,第二欄是以分鐘為單位的經過時間,第三欄是測得的溫度。

以下是所有模型給出的、用來預測經過 T(t)、也就是 t 秒後溫度的實際方程式。

LLMT(t)花費
Kimi K2.5 (reasoning)20 + 52.9 exp(-t/3600)+ 27.1 exp(-t/80)$0.01
Gemini 3.1 Pro20 + 53 exp(-t/2500) + 27 exp(-t/149.25)$0.09
GPT 5.420 + 54.6 exp(-t/2920) + 25.4 exp(-t/68.1)$0.11
Claude 4.6 Opus (reasoning)20 + 55 exp(-t/1700) + 25 exp(-t/43)$0.61 (eeek)
Qwen3-235B20 + 53.17 exp(-t/1414.43)$0.009
GLM-4.7 (reasoning)20 + 53.2 exp(-t/2500)$0.03

有趣的是,它們全部都是基於一到兩個指數衰減項。要理解這些式子,可以把 exp(-t/b) 想成一個函數,當 t 為零時值為 1,然後逐漸下降。經過 b 秒後,它會降到 1/e ≈ 0.368,並且之後每過 b 秒就再以 0.368 的倍率持續下降,直到永遠。

所以這些模型大多有一個「快變率」,反映水向杯子傳熱的過程,以及一個「慢變率」,反映水/杯子向空氣散熱的過程。有少數模型省略了快變率。我也試過 DeepSeek 和 Grok,但它們只是無止盡地空轉,最後根本沒給出答案。它們還很貼心地為這項服務向我收了費。

本文章由 muse-spark-1.2-contributor 進行翻譯

留言