아모데이는 최근 블로그 글에서 수긍할 만한 내용과 AI의 진짜 위험이 어디에 있는지를 잘못 짚는 내용을 뒤섞어 썼다. 나는 여러 위험 중에서도 왜 오픈 웨이트 모델이 가장 가벼운 위험에 해당하는지에 집중하고자 한다. 나는 가까운 미래에 AI가 매우 위험해질 수 있다고 강하게 믿는 사람으로서 이 글을 쓴다:

1. OpenAI/HF 사건 때 일어났던 일과 정확히 마찬가지로(그 사건은 농담 같은 일이었지만, 결과가 아니라 방식에 주목해야 한다), 첫 번째 심각한 AI 사고는 프론티어 AI 랩의 벽 *안에서* 일어날 가능성이 매우 높다. 새로운 모델을 테스트하는 중이거나, AI 랩 직원이나 접근 권한을 가진 소수의 외부인이 모델의 예상 능력에 비해 잘못된 행동을 했을 때 말이다.
2. 대중에게 절대 공개되지 않을 폐쇄형 모델도 결국 데이터 몇 TB에 불과하다. 이를 유출하는 데 필요한 건 접근 권한을 가진 단 한 사람과 잘못된 목적뿐이며, 그러면 다시 오픈 모델과 같은 상황이 된다. 오픈 모델은 테스트를 *거친 뒤에* 공개되며, 이미 비슷한 성능의 모델이 한동안 API로 제공된 뒤에 나온다. 진짜 위험은 공개가 아니라 유출이며, 유출은 프론티어 기업 내부에서 일어난다.
3. 아모데이가 말했듯이, LLM이 생물학 같은 분야에서 충분히 위험해지면 오픈 모델은 특정 과학 분야를 제거한 코퍼스로 학습시킬 수 있으며, 그럼에도 다른 많은 용도로는 여전히 유용하다. 특정 분야에서 강력한 사전 학습이 부족한 모델의 제한된 컨텍스트 윈도우는 모델이 다른 면에서는 매우 유능하더라도 강력한 보호 장치가 된다. 우리는 현재 오픈 모델이 그런 종류의 위험을 구성할 수 있는 단계에 있지 않다.
4. 사이버 보안의 맥락에서, LLM이 제공하는 방어적 보안과 버그 탐색에 대한 광범위한 접근을 *갖지 못하는* 것이야말로 정확히 “무기로서의 LLM” 문제를 만든다. 이미 그런 일이 벌어지고 있다. 오픈소스 메인테이너들은 특정 사이버 프로그램에 속해 있지 않으면 찾을 수 있는 모든 보안 버그를 찾지 못하지만, 이해관계가 맞는 사람들은 프론티어 사이버 모델에 접근하고 오픈 웨이트 모델로 대규모 RL 학습을 하는 등 여러 가지를 할 수 있다.
5. LLM이 충분히 위험해지면(그리고 발전이 계속된다면 우리는 그 한계에 가까워지고 있다), 우리가 갖춰야 할 진짜 보안 체계는 랩 내부에 있으며, 강력한 공통 규칙 없이는 구축될 수 없고, 단일 기업이 모델이 충분히 안전한지 독자적으로 평가할 수 있어서는 안 된다. 우리는 전 세계 전문가를 포함하고 프론티어 AI 기업이 존재하는 국가 정부들의 인정을 받는 공동 AI 안전 기구가 필요하다.
6. 안전을 위해 AI를 늦추는 것은 AI가 의학과 다른 과학 분야에서 이뤄낼 발견이 인간의 고통을 줄일 수 있다는 사실과 균형을 이뤄야 한다. 검증이 부족하면 파국적인 결과(“좋은 아침! 강화된 천연두를 만들어 봅시다”)로 이어질 수 있다. 진전이 없으면 살릴 수 있었던 사람들이 죽게 되며, 이는 현재뿐 아니라 미래에 질병으로 고통받을 수많은 사람에게도 해당한다. 이는 기이한 논점으로 보일 수 있지만, AI를 멈추는 것 *자체에도* 안보 비용이 내재되어 있으며, 단지 훨씬 더 감춰져 있다는 점을 우리는 항상 이해해야 한다.
7. 중국에 대한 아모데이의 이념적 입장은 불공정하다. 우리 유럽인들은 80년 전까지만 해도 최소한의 상식조차 없이 서로를 죽였다(사람들은 이제 잊었지만, 미국이 과거 유럽의 안정에 투자한 이유 중 하나는 우리가 극도로 위험했고 아마 다시 그렇게 될 것이며, 수십 년간의 번영이 우리를 좋은 시장으로 만들고 다시 싸우는 것을 막을 것이라는 판단 때문이었다). 미국은 지금도 비극적인 불평등을 안고 있고, 기초 의료조차 받지 못해 고통받는 사람들이 있으며, 불안정해 보이고 전쟁에 매우 끌리는 것처럼 보이는 대통령을 두고 있다. 나는 중국이 서구에서 우리가 누리는 수준과 같은 개인의 권리를 갖기를 바라지만, 동시에 중국의 역사는 서구 문화보다 훨씬 덜 호전적이다. 현 상황에서 AGI를 통한 군사적 고착화를 중국이 미국보다 더 쉽게 강제할 수 있다는 것은 전혀 분명하지 않다. 게다가 현 미국 행정부는 온갖 형태로 유럽에 대한 혐오를 내뱉고 있으며, 이는 미국이 모든 것을 지배하는 세계에서 매우 우려스러운 일이다. 그 모든 것에 더해, GPU 수출 정책이 어떻든 중국의 AI 발전은 멈추지 않을 것이므로, 아모데이는 미국이 AGI를 확보하면 무력으로 중국을 막아야 한다고 주장하는 것인가, 아니면 그의 논점이 대체 무엇인가?
8. 인류 역사에는 기술적 우위가 처음에 세계의 한 곳에서 달성된 사례가 많다. 내가 아는 한, 이는 단 한 국가가 영구적인 우위를 만들려 시도한 결과로 이어진 적이 *단 한 번도* 없다. GPU 금지와 아마 가장 유사한 사례인 핵무기 비확산은 따르지 않는 모두를 폭격하겠다고 위협하며 영구적인 경제적 우위를 달성하는 데 사용되지 않았으며, 여러 행위자가 서로의 진전을 막기 위해 폭격하지 않으면서도 각기 다른 시기에 그 기술을 확보하는 것을 막지도 못했다. 더 나아가, 나는 AI가 정부 주도의 행동 때문에 가장 큰 위험을 초래한다고 믿지 않는다. 그것이 가장 위험한 시나리오라면 오히려 좋겠다! 정부들은 어리석은 일을 하고 종종 공격적이며, 그 행동이 집단학살로까지 이어진 적도 있지만, 끔찍한 일을 하려면 많은 사람이 동의해야 하며, 그 자체가 제한 요인이다. 가장 큰 문제는 다른 두 가지 경우에 일어나는 일이다. A) 소수의 개인이 종말적 사건을 만들어내는 경우(바이러스 사례), B) AI 자체가 그것을 만드는 사람들의 통제를 벗어나는 경우.

나는 AI를 안전하다고 봐서는 안 된다고 믿는다. 호모 사피엔스의 멸종으로 이어질 수 있는 중대한 사건은 일어날 수 있지만, 위험은 오픈 모델이나 중국이 미국보다 더 빠르게 발전하는 데 있지 않다. 위험은 필요한 배경과 정당성도 없는 소수의 CEO들(전 세계 어디에서나)이 인류 전체를 위한 어려운 선택을 해야 하는 위치에 있다는 데 있다. 그들은 그런 일을 하도록 선출된 것이 아니며, 단지 사건들의 우연이 이런 구조를 만들었을 뿐이다. 사태의 중대성을 고려할 때, 그들이 GPU와 돈을 가졌다는 이유만으로 모두를 대신해 말할 수는 없다. 이것이 가장 먼저 고쳐야 할 일이다.