코딩, 수학, 뭐 그런 것들. LLM은 물리 실험의 결과를 예측할 수 있을까?

끓는 물 8온스(226.8g)를 무게가 1.25파운드(0.57kg)인 세라믹 커피 머그에 붓는다고 가정해 보자. 주변 공기는 고요하고 섭씨 20도다. 컵은 상온에서 시작한다. 시간에 따른 물의 온도를 섭씨로 나타내는 식을 달라. 식에서 유일한 자유 변수는 물을 부은 뒤 경과한 초 수 t여야 한다. 처음 5분 동안의 정확도에 집중하라.

어렵게 느껴지는가? 나는 어렵다고 생각한다. 관련된 물리 현상만 해도 최소한 다음과 같다:

1. 물, 머그, 공기, 테이블 사이의 열전도.
2. 그 각각의 내부에서의 열전도.
3. 물과 공기 내부의 대류(유체 이동).
4. 물 분자가 증기가 되면서 일어나는 증발 냉각.
5. 공기 중 수증기의 이동.
6. 복사. (모든 물질과 마찬가지로 머그와 물은 온도에 따라 적외선을 방출한다.)
7. 표면장력, 열팽창/수축, 물이 식으면서 공기가 다시 물속에 흡수되는 현상 등, 아마도 더 있을 것이다.

그리고 프롬프트에는 명시되지 않은 세부 사항도 많다. 머그는 자기인가 스톤웨어인가? 머그의 모양은 어떠한가? 테이블은 무엇으로 만들어졌는가? 공기의 습도는 얼마나 되는가? 공간적으로 제각각인 수온을 어떻게 하나의 숫자로 줄인다는 말인가?

그러니 이 문제는 생각해서 찾을 수 있는 ‘정답’이 있는 문제가 아니다. 현실은 너무 복잡하다. 대신 질문에 답하려면 ‘감각’이 필요하다 — 어떤 요인이 가장 중요한지 추측하고, 빠진 세부 사항에 대해 가정하는 식이다.

그래서 나는 그 질문을 여러 LLM에 던져 봤다. 결과는 다음과 같다:

(엄밀히 말하면, 모델들은 식을 텍스트로 내놓았다. 나는 그 식들을 그래프로 그렸다.)

나는 그 곡선들에 놀랐다. 초반에 온도가 얼마나 빨리 떨어진다고 보는지, 그리고 나중에는 얼마나 천천히 떨어진다고 보는지 모두 의외였다. 모델들은 처음 몇 분 동안의 냉각량이 남은 한 시간 동안의 냉각량과 맞먹는다고 생각하는 셈이다. 정말 그럴까?

그래서 직접 실험을 했다. 먼저 주변 온도가 마침 섭씨 20도가 될 때까지 기다렸다. 그런 다음 계량컵에 물 8온스를 담아 전자레인지에 넣어 끓을 때까지 돌리고, 온도가 좀 균일해지도록 잠시 둔 뒤, 다시 전자레인지에 넣어 물이 다시 끓을 때까지 돌렸다. 이어서 디지털 온도계가 꽂힌 1.25파운드짜리 커피 머그에 물을 붓고 5초마다 측정값을 외쳤고, Dynomight Biologist가 이를 정신없이 기록했다. 점차 측정 간격을 15초, 30초, 1분, 그리고 5분으로 늘려갔다.

결과는 다음과 같다:

혹은, 처음 5분을 확대한 모습은 다음과 같다:

예측은 모두 괜찮았지만, 어느 것도 훌륭하진 않았다. 아마 Claude 4.6 Opus가 가장 잘했지만, 토큰으로 0.61달러를 잡아먹은 뒤였다. (물리 실험 / 국방부 / 돈 / 커피에 대한 농담을 여기에 넣으시오.)

그렇다고는 해도, 예측에서 놀라웠던 점은 처음 몇 분 동안 온도가 얼마나 빨리 떨어지고 나중에는 얼마나 천천히 떨어진다고 봤는가 하는 것이었다. 하지만 실험 결과, 초반에는 그보다도 더 빨리 떨어졌고, 끝으로 갈수록 더 천천히 떨어졌다. 그러니 내 직감과 LLM을 앙상블한다면, 내 직감의 가중치는 0이 될 것 같다.

결론적으로, LLM이 우리의 수학을 가져갈지는 몰라도, 우리의 미세한 손놀림까지 가져가는 데는 좀 더 시간이 걸릴 것이다. 또 하나의 중학생 과학 프로젝트를 읽어 주셔서 감사하다.