지금 단언컨대, 소프트웨어 개발에 AI 에이전트를 도입하는 일은 이 분야 역사상 가장 큰 비용을 치르게 될 실수 중 하나가 될 것이다. 에이전트는 프로그래밍을 할 수 없다. 그리고 그 사실을 깨닫는 데 점점 더 오랜 시간이 걸리고 있다. 에이전트는 프로그래밍의 분포를 모방하도록 설계된 고도로 정교한 통계 모델일 뿐이다. 결과물은 망가져 있지만, 그 결함을 점점 더 감지하기 어려워지고 있다. 점점 더 정확해지는 통계 모델이라면 당연히 예상할 수 있는 일이다.

처음에는 나도 이 생각을 부정했다. 트위터에서 떠도는 지위 불안 때문이라는 설명을 믿었다. 내 자존감의 일부를 프로그래밍 능력으로 정의하니까, 그 능력을 잃게 된다는 생각에 방어적으로 나오는 게 당연하지 않은가? 자존심을 지키려고 모델이 코딩을 할 수 없다는 사실을 가능한 한 오래 부정하는 것이?

솔직히 말해, 모델들은 내가 평생을 바쳐도 풀지 못할 수학 문제를 너무나도 쉽게 풀어낸다. 그런데 왜 프로그래밍은 못하는 걸까? 어쩌면 내가 그들의 천재성을 알아볼 만큼 뛰어난 프로그래머가 아닌 걸지도 모른다.

지난 6개월 동안 정말 열심히 시도해 봤다. 에이전트를 써서 tinygrad의 일부를 작성하기도 했고, 에이전트를 써서 USB <-> PCIe를 리버스 엔지니어링한 칩 작업도 했다. 하지만 그때마다 직접 손으로 하는 게 더 잘, 더 빨리 할 수 있었을 거라는 의심이 들었다. 에이전트는 초반의 진척을 한 번에 몰아준 뒤, 마무리를 해주길 바라며 당기게 되는 슬롯머신 레버만 남긴다. 그리고 그 마무리는 절대 제대로 되지 않는다.

‘네가 잘못 쓰고 있는 거야’라는 말은 미리 접어두자. 나는 온갖 모델, 온갖 하네스, 온갖 프롬프트를 다 시도해 봤다. 문제는 그게 아니다. 이런 말을 하는 사람들은 슬롯머신에 대해서도 똑같이 말할 것이다. 체리가 뜨면 5줄에 베팅해야 하는데 왜 안 하냐며, 그러니 못 이기는 거라고 말이다!

AI가 쓸모없다는 말은 아니다. 분명히 쓸모가 있다. 대부분의 검색에서는 확실히 구글보다 낫다. 그리고 완성도는 신경 쓰지 않고 빠른 프로토타입이 필요할 때는 터무니없이 빠르다. 하지만 그렇다고 소프트웨어 엔지니어냐고 묻는다면? 내가 다녀본 어떤 회사의 기준에도 한참 못 미친다. 핵심은 언제 써야 하고 언제 쓰지 말아야 하는지를 아는 것이다.

자존감 방어라는 얘기에 대해 더 생각해 봤다. AFL은 LLM보다 더 많은 버그를 찾아냈지만 아무도 그런 감정을 느끼지 않았다. 체스와 바둑은 그 어느 때보다 인기가 많다. 나는 내 코드를 믿고 맡겨 정리해 줄 로봇 동료들의 군단을 갖게 될 날을 진심으로 손꼽아 기다리고 있다! 나는 지위를 잃을까 봐 두렵지 않다. 오히려 에이전트를 팔기 위한 일종의 심리전 같다는 생각마저 든다. 상실에 대한 두려움은 대기업을 움직이게 만드는 몇 안 되는 방법 중 하나니까. 다만 그 두려움 속에서 그들은 큰 실수를 저지르고 있다고 생각한다.

에이전트는 결국 뛰어난 개인이나 작은 조직보다 큰 조직에 더 큰 해를 끼치게 될 것이다. 지난 6개월간 내 친구들과 동료들이 이 도구들을 어떻게 받아들이는지 지켜봤다. 뛰어난 사람들에게서 공통적으로 발견되는 특징은 오류를 교정하는 능력이며, 그들은 대부분 슬롭이 슬롭인지 구분하는 데 능했다. 언제 쓰고, 언제 믿고, 어떻게 쓸지 등 바깥 루프를 탐색하고 활용하며 조율하는 데는 약간의 시간이 걸리지만, 일부 제한된 영역을 제외하고는 그들 중 누구도 한 줄 한 줄을 꼼꼼히 읽고 이해하지 않는 방식으로 전환한 경우를 보지 못했다.

큰 조직과 비교해 보자. 피드백 루프는 훨씬 느리고, 정렬은 훨씬 덜 되어 있다. 하위 성과자들은 그런 자기 점검이 없다. 에이전트로 생산량을 10배로 늘리고 있는 사람들이 바로 그들이다. 그 조직의 평균적인 결과물에는 어떤 일이 벌어지고 있다고 생각하는가? 세상 전체의 평균적인 결과물에는 무슨 일이 일어나고 있는가?

에이전트는 결국 그 어느 때보다 더 많은 코드, 더 많은 앱, 더 많은 기능을 쏟아내게 될 것이다. 양동이로 퍼낼 만큼의 슬롭에게는 황금기이며, 품질이라는 보석에게는 암흑기이다.

애플이 모든 엔지니어에게 AI 사용을 밀어붙이고 있다는 얘기를 들었다. 사람들이 추상적으로 생각할 때는 AI가 온갖 것을 다 해줄 거라고 생각하지만, 구체적인 예에 집중해 보자. 앞으로 2년 동안 macOS가 더 좋아질 것 같은가, 나빠질 것 같은가?

사람들은 어떤 결과물을 볼 때, 그것을 만드는 데 사용된 과정에 대해 가정한다. 생각할 것도 없이 제작자가 기본적으로 인간적인 사고방식을 가졌을 거라고 가정한다. 이제 그 가정은 더 이상 통하지 않는다. 이전에는 불가능했던 방식으로 결과물이 망가질 수 있으며, 문법이나 구문 같은 예전의 품질 대용 지표들은 쓸모가 없어졌다. AI가 만든 결과물은 인간이 만든 것과 같은 과정으로 만들어진 것이 아니며, 이 차이는 통계적으로는 극히 미묘하지만, 인간적인 방식으로 그 결과물과 상호작용하고 그 위에 무언가를 쌓으려 할 때 명백하게 드러난다.

그들의 모든 생각을 전적으로 지지하는 것은 아니지만, LLM에 관해서는 이제 나는 LeCun/Marcus 진영에 속한다. 나는 이런 모델들이 절대 프로그래밍을 할 수 있게 되지 않을 거라고 생각한다. 과정이 중요하다고 본다. 여전히 딥러닝이 해법이라고 생각하지만, 진짜 프로그래밍 에이전트에게는 실패한 테스트를 주석 처리해 놓고 모든 테스트를 통과했다고 알려주는 그런 RLVR 따위가 아니라 월드 모델이 필요할 것이다.

이 시대의 진짜 이야기는 누가 AI 사이코시스 속에서 스스로를 해치지 않고 버텨내느냐가 될 것이다.