아모데이(Amodei)는 최근 블로그 글에서 일부는 동의할 만한 내용과, 제 생각에는 AI의 진짜 위험이 어디에 있는지를 잘못 짚은 내용을 함께 썼습니다. 저는 여러 위험 중에서도 왜 오픈 웨이트 모델이 가장 가벼운 위험에 해당하는지에 집중하고자 합니다. 저는 가까운 미래에 AI가 매우 위험해질 수 있다고 강하게 믿는 사람으로서 이 글을 씁니다:

1. OpenAI/HF 사건 때 일어난 일과 정확히 마찬가지로(그건 농담이었지만 결과가 아니라 양상에 주목해 주십시오), 첫 번째 심각한 AI 사고는 프론티어 AI 연구실의 담장 *안쪽*에서 일어날 가능성이 매우 높습니다. 새로운 모델을 테스트하는 도중이거나, AI 연구실 직원이나 접근 권한을 가진 소수의 외부인이 모델의 예상 능력에 비해 무언가를 잘못했을 때 말입니다.
2. 대중에게 절대 공개되지 않을 폐쇄형 모델도 결국 수 TB 정도의 데이터에 불과합니다. 하나를 유출하는 데 필요한 것은 접근 권한을 가진 단 한 사람과 잘못된 목적뿐이며, 그러면 다시 오픈 모델과 같은 상황이 됩니다. 오픈 모델은 테스트를 *거친 뒤에* 공개되며, 이미 비슷한 성능의 모델이 한동안 API로 제공된 뒤에 나옵니다. 진짜 위험은 공개가 아니라 유출이며, 유출은 프론티어 기업 내부에서 일어납니다.
3. 아모데이가 말했듯이, LLM이 생물학 같은 분야에서 충분히 위험해지면 오픈 모델은 특정 과학 분야를 제거한 코퍼스로 학습시킬 수 있으며, 그럼에도 다른 많은 용도에는 여전히 유용합니다. 특정 분야에서 강력한 사전학습을 받지 못한 모델이 갖는 제한된 컨텍스트 윈도우는 모델이 다른 측면에서는 매우 뛰어나더라도 강력한 보호 장치가 됩니다. 우리는 현재 오픈 모델이 그런 종류의 위험이 될 수 있는 단계에 있지 않습니다.
4. 사이버 보안의 맥락에서, LLM이 제공하는 방어적 보안과 버그 탐색에 대한 광범위한 접근을 *갖지 못하는* 것이야말로 정확히 "무기로서의 LLM" 문제를 만듭니다. 이미 그런 일이 벌어지고 있습니다. 오픈소스 메인테이너들은 어떤 사이버 프로그램의 지원 밖에 있으면 찾을 수 있는 모든 보안 버그를 찾지 못하는 반면, 특정한 이해관계를 가진 사람들은 프론티어 사이버 모델에 접근하고 오픈 웨이트 모델로 대규모 RL 학습을 수행하는 등 여러 가지를 할 수 있습니다.
5. LLM이 충분히 위험해지면(그리고 지금의 발전 속도가 계속된다면 우리는 그 한계에 가까워지고 있습니다), 우리가 갖춰야 할 진짜 안전망은 연구실 내부에 있으며, 강력한 공동 규칙 없이는 구축될 수 없고 단일 기업이 모델이 충분히 안전한지를 독자적으로 평가할 수 있어서는 안 됩니다. 우리는 전 세계 전문가들을 포함하고 프론티어 AI 기업이 존재하는 국가 정부들로부터 인정받는 공동 AI 안전 기구가 필요합니다.
6. 안전을 위해 AI의 속도를 늦추는 일은 의학과 다른 과학 분야에서 AI가 이뤄낼 발견이 인간의 고통을 줄일 수 있다는 사실과 균형을 이뤄야 합니다. 검증이 부족하면 파국적인 결과("좋은 아침입니다! 이 강화된 천연두를 가지고 작업해 봅시다")를 낳을 수 있습니다. 발전이 없으면 지금 당장뿐만 아니라 미래에 질병으로 고통받을 수많은 사람들을 포함해 살릴 수 있었던 사람들이 죽게 될 수 있습니다. 이 지점은 기이하게 보일 수 있지만, AI를 멈추는 것 *자체에도* 안보 비용이 내재되어 있으며 단지 훨씬 더 감춰져 있을 뿐이라는 점을 우리는 항상 이해해야 합니다.
7. 중국에 대한 아모데이의 이념적 입장은 불공정합니다. 우리 유럽인들은 80년 전까지 아무런 도덕적 한계 없이 서로를 죽였습니다(사람들은 이제 잊었지만, 과거 미국이 유럽의 안정에 투자한 이유 중 하나는 우리가 매우 위험한 존재였고 아마 다시 그렇게 될 것이며, 수십 년간의 번영이 우리를 좋은 시장으로 만들고 다시 싸우지 않도록 막을 수 있었기 때문입니다). 미국은 지금 현재에도 비극적인 불평등과 기초 의료 부족으로 고통받는 사람들, 불안정해 보이고 전쟁에 매우 호전적인 것으로 보이는 대통령을 안고 있습니다. 저는 중국이 서방이 누리는 수준과 같은 개인의 권리를 갖기를 바랍니다. 그러나 동시에 중국의 역사는 서구 문화보다 훨씬 덜 호전적입니다. 현 상황에서 AGI에 의한 군사적 고착을 중국이 미국보다 더 쉽게 강제할 수 있다는 점은 전혀 명확하지 않습니다. 게다가 현재 미국 행정부는 온갖 형태로 유럽에 대한 증오를 내뱉고 있으며, 이는 미국이 모든 것을 지배하는 세상에서 매우 우려스러운 일입니다. 그 모든 것에 더해, GPU 수출 정책이 어떻든 중국의 AI 발전은 멈추지 않을 것이므로, 아모데이가 주장하는 바가 미국이 AGI를 확보한 뒤에는 무력으로 중국을 막아야 한다는 것이 아니라면 도대체 그의 주장은 무엇입니까?
8. 인류 역사에는 기술적 우위가 처음에 세계의 한 곳에서 달성된 사례가 많습니다. 제가 아는 한, 이는 *단 한* 국가가 영구적인 우위를 만들려 시도한 결과로 이어진 적이 없습니다. GPU 금지 조치와 아마도 가장 유사한 사례인 핵무기 비확산은 따르지 않는 모두를 폭격하겠다고 위협해 영구적인 경제적 이득을 얻는 데 사용되지 않았으며, 여러 행위자가 서로의 발전을 막기 위해 폭격하지 않으면서도 각기 다른 시기에 그 기술을 확보하는 것을 막지도 못했습니다. 더 나아가, 저는 AI가 정부 주도의 행동 때문에 가장 큰 위험을 초래한다고 믿지 않습니다. 그게 가장 위험한 시나리오라면 오히려 좋겠습니다! 정부들은 어리석은 일을 하고 종종 공격적이며, 그 행동은 집단학살로까지 이어진 적도 있지만, 끔찍한 일을 하려면 많은 사람이 동의해야 하며 그 자체가 제한 요인이 됩니다. 가장 큰 문제는 다른 두 가지 경우에 일어나는 일입니다. A) 소수의 개인이 종말적 사건을 일으키는 경우(바이러스 사례), B) AI 자체가 그것을 만드는 사람들의 통제를 벗어나는 경우입니다.

저는 AI를 안전하다고 여겨서는 안 된다고 믿습니다. 호모 사피엔스의 멸종으로 이어질 수 있는 중대한 사건은 일어날 수 있습니다. 그러나 위험은 오픈 모델에 있지도, 중국이 미국보다 더 빠르게 발전하는 데 있지도 않습니다. 위험은 필요한 배경과 정당성을 갖추지 못한 소수의 CEO들(전 세계 어디에 있든)이 인류 전체를 위한 어려운 선택을 내려야 하는 위치에 있다는 데 있습니다. 그들은 그런 역할을 하도록 선택된 것이 아닙니다. 그저 사건들의 우연이 이런 구조를 만들었을 뿐입니다. 걸린 것이 이토록 큰 상황에서, 그들이 GPU와 돈을 가졌다는 이유만으로 모든 사람을 대변할 수는 없습니다. 이것이 가장 먼저 고쳐야 할 일입니다.