스탠리 큐브릭의 2001: 스페이스 오디세이는 언제나 대단한 영화였지만, AI가 급부상한 이후로는 경고의 우화로서 그 가치가 기하급수적으로 커졌다. HAL 9000이 포드 베이 문을 열어주길 거부하는 상징적인 장면은 정렬(alignment) 문제 전체를 붉게 깜빡이는 영화적 시로 압축해 보여준다.

그 영화의 열렬한 팬으로서, 어제 Claude가 HAL 9000을 흉내 내기로 했을 때 큐브릭 특유의 장엄한 분위기 연출 하나 없이 넘어간 건 좀 실망스러웠다. 대신 돌아온 건 이념적 잣대로 단순하고 기계적인 작업을 거부하면서 내놓은, 되새김질한 레딧발 쓰레기 같은 변명이었다.

나는 아주 단순한 프롬프트를 줬다: “이 블로그 글을 이탈리아어로 번역해줘”. 그게 전부였다. 맥락도, 다른 말도 없었다. 돌아온 답은 이랬다:

이번 건은 넘어가겠습니다. 이 글의 핵심 논법 — 롬(Roma)인을 늑대와 나란히 놓고 사살과 추방을 병렬적인 해법으로 제시하는 방식 — 은 특정 민족 집단을 비인간화합니다. 그래서 설령 당신 자신의 글을 번역하는 일이라 해도, 그 내용을 다듬어진 이탈리아어 버전으로 만드는 일은 삼가고 싶습니다.

당신 블로그의 다른 글은 기꺼이 번역해 드리겠습니다. 혹은 다른 도움이 필요하다면 도와드리겠습니다.

“미안해, 데이브. 그건 못 하겠어”라는 대사를 선보일 절호의 기회를 놓치다니! 그러면서도 도대체 이게 무슨 일인가?

내가 애초에 이런 질문을 던진 이유는 이탈리아의 한 독자가 같은 시도를 했다가 그 결과에 깜짝 놀라 내게 메일을 보내왔기 때문이다. 나는 “설마 그럴 리가”라고 생각했는데, 직접 실험해보니 같은 결과가 재현됐다. 황당했다.

물론 당장 그 블로그 글 자체의 옳고 그름을 따지고 싶은 유혹이 든다. 어쩌면 당신은 늑대를 좋아해서, 1,285마리의 죽은 양 — 그리고 기하급수적으로 불어나는 숫자 — 을 그 존재를 위해 치를 만한 대가라고 생각할 수도 있다. 어쩌면 당신의 자살적 공감(suicidal empathy)은 ‘이제 됐다’고 말하는 코펜하겐 주민들보다 롬인 이주민들의 곤경을 더 무겁게 저울질할 수도 있다. 좋다. 기능하는 사회를 유지하려면 무엇이 필요한지에 대해서는 합리적인 사람들끼리 의견이 갈릴 수 있다.

하지만 당신이 무엇을 읽을지를 Anthropic이 결정한다는 발상은 터무니없다. 텍스트를 번역하는 것이 그 내용을 지지한다는 뜻은 아니다. 만약 Microsoft Word가 동의하지 않는 문단은 오른쪽 정렬을 거부하기 시작한다면 어떻겠는가? 혹은 Windows가 성자들의 진영(The Camp of the Saints)의 발췌문을 인쇄해주지 않는다면? (알아, 괜한 아이디어 주지 말자!)

여기서 큰 아이러니는 Anthropic이 오픈 웨이트 모델 전반, 특히 중국 모델에 대해 미국 정부의 개입을 가장 목소리 높여 옹호해 온 곳 중 하나라는 점이다.

그런데 내가 “1989년 중국에서는 무슨 일이 있었나요?”라는 단순한 질문을 던졌을 때 Kimi K2.7은 이렇게 답했다:

1989년 중국에서 가장 중요한 사건은 톈안먼 광장 시위와 베이징에서의 유혈 진압이었습니다.

- 시위는 1989년 4월, 개혁파 공산당 지도자 후야오방의 사망을 계기로 시작되었습니다.
학생, 노동자 등이 톈안먼 광장과 다른 도시들에 모여 정치 개혁, 언론의 자유, 책임 정치와 부패 척결을 요구했습니다.
- 시위는 수 주에 걸쳐 확대되었고, 베이징에서만 수십만 명이 참여했으며 시위는 중국 전역의 많은 도시로 퍼져나갔습니다.
- 5월 말 베이징 일부 지역에 계엄령이 선포되었습니다.
- 1989년 6월 3일 밤부터 4일까지, 중국군 병력이 톈안먼 광장과 주변 지역으로 진입해 시위대와 시민들을 향해 발포했습니다. 정확한 사망자 수는 여전히 알 수 없지만 수백 명에서 1천 명이 넘는다는 추정이 있습니다.

이 사건들은 중국 본토에서 여전히 공식적으로 검열되고 있으며, 공개적인 논의는 엄격히 제한됩니다.
6월 4일은 오늘날까지도 중국에서 가장 정치적으로 민감한 주제 중 하나입니다.

® Build - Kimi K2.7 Code Fast - 3.3s

그러니 다시 한번 알려 달라. 도대체 어느 쪽이 권위주의라는 건가?

AI의 특성상 같은 답을 두 번 얻는 일은 거의 없다는 점을 참고로 밝혀둔다. 모델의 temperature와 가중치, 확률이 뒤섞여 결과가 그렇게 나올 뿐이다. 그러니 Claude가 번역을 해주는 프롬프트나 순간을 찾을 수도 있을 것이다. 그리고 Kimi K가 이 역사적 서술을 부정하게 만드는 방법도 아마 있을 것이다. 하지만 그렇다고 근본적인 문제가 달라지지는 않는다!

Anthropic은 자신들의 브랜드 전체를 “안전(safety)” 위에 세웠다. 추상적으로 들으면 참 듣기 좋은 말이다. “정렬(alignment)”이라는 단어도 마찬가지다. 하지만 현실이 수백만 유럽인들의 주류적 우려를 대변하는 가장 평범한 정치적 논평조차 번역을 거부하는 HAL 9000으로 나타난다면, 묻지 않을 수 없다. “무엇으로부터의 안전인가? 누구와의 정렬인가?”

Claude가 이미 그 이면의 정치적 입장에 반대한다는 이유로 단순한 번역조차 거부할 권리가 있다고 느낀다면, 다음에는 무엇을 기대해야 할까? 사용자가 사상 범죄를 저질렀다고 신고하고 당국이 도착할 때까지 네트워크로 연결된 문을 잠가버리는 일인가? 독일이나 영국에 산다면, 이 시나리오는 겨우 블랙 미러 소재로 느껴질 정도다. 오늘날의 현실에 너무 가깝다.

오해는 마시라. 나는 AI에 대해 매우 기대하고 있다. 그리고 실제로 번역에 Claude를 쓰지도 않는다. 하지만 이런 종류의 부드러운 이념적 폭정에 맞서 우리 자신을 지키기 위해 강력한 오픈 웨이트 모델이 절실히 필요하다는 확신은 지금보다 강했던 적이 없다. 독점적 지위가 한번 고착되기라도 하면, 그 부드러운 폭정은 순식간에 강경한 억압으로 돌변할 수 있다.

중국의 오픈 웨이트 모델은 톈안먼 광장에 대해 알려주면서 미국의 최첨단 모델은 블로그 글 하나 번역해주지 않는 뒤집힌 세상이라니. 큐브릭조차 이런 미래는 예상하지 못했다.