새로운 일은 아니지만 가속도가 붙고 있다. LLM은 쓸모 있는 추론에 도달하거나 어느 정도 범용성을 갖춘 유용한 도구를 만드는 데 근본적으로 잘못된 방식이라고 말하던 사람들이 이제 슬쩍 말을 바꾸기 시작했다. 덜 틀려 보이기 위해 판을 다시 짜려는 것이다. 그들은 말한다. “지금 우리가 보는 진전은 OpenAI o1이나 DeepSeek R1 같은 모델이 단순한 LLM이 아니기 때문이다.” 이는 사실이 아니며, 이러한 신비화를 가능한 한 빨리 바로잡는 것이 중요하다.

첫째, DeepSeek R1은(o1/o3는 접근할 수 없는 비공개 모델이라 굳이 언급하고 싶지 않지만 아마 마찬가지일 것이다) 순수한 디코더 온리 자기회귀 모델이다. 그토록 강하게 비판받았던 바로 그 다음 토큰 예측 방식이다. 모델 어느 곳에도 명시적인 기호적 추론이나 표상이 존재하지 않는다.

게다가 R1 Zero는 *어떠한* 지도 미세조정도 없이 R1과 유사한 추론 능력을 보여준다. 사고의 연쇄를 생성하고 이를 보상 함수로 강화학습을 통해 개선하는 것만으로 더 강력한 형태의 추론을 학습하기에 충분했다. 흥미롭게도 이러한 능력 중 일부는 SFT를 통해 소형 모델로 쉽게 증류되었는데, 이는 다음 논점으로 이어진다.

또 다른 근본적인 관찰은 S1 논문이 보여주는 점이다. 모델이 복잡한 추론 단계를 구성하고 자명하지 않은 수학 문제를 풀 수 있게 되는 데에는 아주 적은 수의 예시(단 1000개 정도)만으로 충분하다는 것이다. S1과 R1 Zero는 어떻게 보면 사전학습 단계에서 모델이 이미 비지도적인 다음 단어 예측이라는 학습 목표만으로 추론을 수행하는 데 필요한 표상을 학습했음을 시사한다.

그러니까 R1이 근본 구조에서 바닐라 LLM이라는 점뿐만 아니라, 비지도 사전학습 자체가 충분히 풍부한 표상과 잠재력을 만들어낸다. 그래서 충분히 강력한 LLM이라면 RL(그리고 약간의 SFT)만으로도 사용자가 던지는 복잡한 질문에 답하고(여기서 말하는 건 오래됐지만 여전히 인상적인 instruct 모델의 능력이다), 사고의 연쇄를 활용해 추론하고 더 나은 답을 내놓는 법을 배우게 된다.

추론 모델은 그냥 LLM일 뿐이며, LLM이 막다른 길이라고 말했던 사람들은 단순히 틀렸다. 물론 틀릴 수는 있다(비록 이번 경우 그 틀린 방식이 특히 공격적이었고 증거를 노골적으로 부정하는 태도였다고 해도). 하지만 옳은 편에 서기 위해 역사와 용어를 바꾸려는 시도는 내게는 용납할 수 없는 일이다.