새로운 일은 아니지만 가속도가 붙고 있습니다. LLM은 유의미한 추론에 도달하거나 일반적으로 어느 정도 범용성을 갖춘 유용한 도구를 개발하는 데 근본적으로 결함이 있는 방식이라고 말하던 사람들이 이제는 덜 틀려 보이기 위해 말을 바꾸기 시작했습니다. 그들은 “우리가 보고 있는 진전은 OpenAI o1이나 DeepSeek R1 같은 모델이 단순한 LLM이 아니기 때문이다”라고 말합니다. 이는 사실이 아니며, 이러한 호도를 가능한 한 빨리 드러내는 것이 중요합니다.

첫째, DeepSeek R1은 순수한 디코더 전용 자기회귀 모델입니다(o1/o3에 대해서는 접근할 수 없는 비공개 모델이라 다루고 싶지 않지만, 구조는 거의 동일할 가능성이 높습니다). 그토록 강하게 비판받았던 바로 그 다음 토큰 예측 방식입니다. 모델 그 어디에도 명시적인 기호적 추론이나 표상은 존재하지 않습니다.

더욱이 R1 Zero는 그 어떤 지도 미세조정도 없이 R1과 유사한 추론 능력을 보여줍니다. 사고의 연쇄(chain of thought)를 생성하고 이를 보상 함수로 강화학습을 통해 개선하는 것만으로 더 강력한 형태의 추론을 학습하기에 충분했습니다. 흥미롭게도 이러한 능력 중 일부는 SFT를 통해 더 작은 모델로 쉽게 증류될 수 있었는데, 이는 다음 논점으로 이어집니다.

또 다른 근본적인 관찰은 S1 논문이 보여주듯, 모델이 복잡한 추론 단계를 구성하고 자명하지 않은 수학 문제를 풀기 시작하는 데 필요한 예시가 매우 적다는 점입니다(1000개 정도면 충분합니다). S1과 R1 Zero는 사전학습 단계에서 모델이 이미 비지도적인 다음 단어 예측이라는 학습 목표만으로 추론을 수행하는 데 필요한 표상을 학습했음을 시사합니다.

따라서 R1이 근본 구조상 그저 평범한 LLM이라는 사실뿐만 아니라, 비지도 사전학습이 충분히 강력한 LLM이라면 RL(그리고 약간의 SFT)과 함께 사용자가 던지는 복잡한 질문에 답하고(여기서 말하는 것은 instruct 모델, 오래되었지만 여전히 인상적인 능력입니다) 사고의 연쇄를 활용해 추론하고 더 나은 답을 제공하도록 학습할 수 있을 만큼 충분한 표상과 잠재력을 만들어낸다는 것이기도 합니다.

추론 모델은 그저 LLM일 뿐이며, LLM이 막다른 길이라고 말했던 사람들은 틀렸습니다. 물론 틀릴 수는 있습니다(비록 이번 경우에는 그 틀린 방식이 특히 공격적이었고 증거를 유독 부정하는 태도였지만 말입니다). 하지만 자신이 옳았던 편에 서기 위해 역사와 용어를 바꾸려는 시도는, 저로서는 받아들일 수 없습니다.