외계 우주선 한 척이 지구를 향해 오고 있다고 해보자. 안에는 외계인 30명이 타고 있다. 외계인들은 약하고 작다. 무기도 없고 질병도 옮기지 않는다. 번식 속도는 인간과 비슷하다. 새로운 기술을 가져오는 것도 아니다. 뒤따라 오는 다른 함선도 없다. 꼼수는 없다—다만 이들의 IQ가 각각 300이라는 점만 빼고. 걱정되지 않겠는가?

물론 외계인들은 훌륭할 수도 있다. 암을 치료하고 세계 평화를 이루며 더 높은 의식에 도달하도록 도울 수도 있다. 하지만 그들이 반드시 훌륭할 거라고 확신할 수 있겠는가?

당신이 외계인들을 걱정하는데 내가 코웃음을 치며 “구체적으로 외계인이 어떻게 우리를 해칠 수 있는지 말해 봐. 작고 약하잖아! 우리가 허락하지 않으면 아무것도 못 해”라고 말한다고 해보자. 그 반론이 설득력 있게 들리겠는가?

내 주장은 이렇다. 대부분의 사람들은 외계인의 도래를 걱정할 것이고, 그 도래가 좋은 일이라고 확신하지 않을 것이며, 그런 반론을 설득력 있다고 여기지 않을 것이다.

이 얘기를 꺼내는 이유는 내가 봐 온 대부분의 AI 위험 논증이 대략 이런 식이기 때문이다:

1. AI 능력의 급격한 도약이 일어날 것이다.
2. 정렬의 어려움과 직교성 때문에 AI는 위험한 수렴적 하위 목표를 추구하게 될 것이다.
3. 이는 AI에게 결정적 전략적 우위를 주어 통제 불가능하게 만들고 재앙으로 이어질 것이다.

이런 논증들은 내게 항상 필요 이상으로 복잡하게 느껴졌다. 그래서 다음과 같은, 오히려 지나치게 단순한 대안을 제시해 보고 싶다:

1. 당연히, IQ 300을 가진 외계 종족이 곧 지구에 도착한다면 그것은 우려할 일이다.
2. 앞으로 수십 년 안에 IQ 300의 AI가 등장하는 것은 충분히 가능한 일이다. 정말로, 실제로 일어날 수도 있다.
3. 아무도 IQ 300인 AI가 어떤 모습일지 모른다. 그러니 외계인이나 다름없다.

오늘의 주제는 이것이다: 왜 한쪽 논증을 다른 쪽보다 선호할 수 있을까?

단순한 논증이 나은 이유

단순한 논증을 선호해야 하는 가장 분명한 이유는 그것이 참일 가능성이 더 높기 때문이다. 복잡한 논증은 단계가 많다. 개인적으로 나는 그 단계 하나하나가 그럴듯하다고 생각한다. 하지만 AI 능력의 급격한 도약이 실제로 일어날 것이고, 그리고 AI가 위험한 하위 목표를 추구할 것이며, 그리고 그로 인해 결정적 전략적 우위를 차지하게 될 것이라고 정말로 확신할 수 있을까?

나는 그런 확신이 비합리적이라고 생각한다. 왜 그토록 많은 합리적으로 보이는 사람들이 그런 확신을 거부하지 않은 채 이런 논증들을 논하는지 종종 의아했다.

내 생각에 그 이유는 복잡한 논증에 암묵적으로 두 가지 버전이 있기 때문이다. “강한” 버전은 급격한 도약 등이 반드시 일어날 것이라고 주장하고, “약한” 버전은 그저 그럴듯한 시나리오이므로 심각하게 받아들여야 한다고 주장할 뿐이다. 사람들이 어느 버전을 지지하는지 구분하기 어려운 경우가 많다.

이 구분은 매우 중요하다. 두 버전은 서로 다른 약점을 가지고 있기 때문이다. 나는 강한 버전이 터무니없이 과신에 차 있다고 본다. 약한 버전에는 동의하지만, 그래도 만족스럽지 않다.

복잡한 논증이 제시하는 대로 일이 진행되지 않을 확률이 50%보다 높다고 생각해 보자. 어쩌면 도약이 천천히 일어날 수도 있고, AI가 결정적 전략적 우위를 구축하지 못할 수도 있다. 뭐 그런 식이다. 그렇다면 어떻게 되는가?

물론 모든 것이 잘 풀려서 당신이 수백만 년을 살며 은하를 탐험하고, 시를 읽고, 명상하고, 파이를 먹는 미래가 올 수도 있다. 좋겠다. 하지만 인류가 단지 다른 방식으로 망하는 것도 가능해 보인다. 복잡한 논증은 단계 중 하나가 실패했을 때 무슨 일이 일어나는지에 대해서는 아무 말도 하지 않는다. 그러다 보니 단계들이 하나라도 빠지면 모든 게 괜찮을 것이라는 인상을 줄 수 있다. 하지만 그렇지 않다.

단순한 논증은 더 설득력도 있다. 부분적으로는—뭐—참인 것을 설득하는 게 더 쉽기 때문이라고 생각한다. 그뿐 아니라 단순한 논증은 새로운 개념이나 추상화를 요구하지 않으며, 더 지능적인 존재가 어떻게 예상치 못한 방식으로 위험할 수 있는지에 대한 우리의 기존 직관을 활용한다.

사실 나는 단순한 논증을 뒤집은 형태를 더 선호한다: AI 위험이 없다고 주장한다면, 다음 중 어느 주장을 감수할 것인가?

1. “IQ 300인 외계 종족이 지구에 와도 분명히 괜찮을 것이다.”
2. “앞으로 수십 년 안에 IQ 300인 AI가 등장할 가능성은 전혀 없다.”
3. “우리는 AI가 반드시 가질 특별한 속성을 알고 있으며, 그 속성이 외계인이 일으킬 수 있는 모든 나쁜 결과를 반드시 막아줄 것이다.”

나는 이 중 어느 주장도 받아들일 수 없다고 생각한다. 그래서 AI 위험은 현실이라고 본다.

하지만 복잡한 논증을 내세우면 급격한 도약과 정렬의 어려움 등을 입증해야 하는 부담을 떠안게 된다. 그 논증을 들은 사람들은 또 종종 AI가 구체적으로 어떻게 사람을 해칠 수 있는지 설명을 요구한다(“나노기술? 생물무기? 어떤 생물무기 말인가?”). 나는 이것이 자동차 사고가 어떻게 날지 정확히 알아야만 안전벨트를 매겠다는 것과 같은 잘못이라고 생각한다. 복잡한 시나리오가 가능한 한, 그것은 우리가 관리해야 할 위험이다. 하지만 많은 사람들은 그렇게 보지 않는다.

하지만 단순한 논증의 가장 큰 장점은 다른 데 있다고 본다. 바로 의견 불일치의 핵심을 드러낸다는 점이다.

나는 복잡한 논증을 전혀 그럴듯하지 않다고 여기는 사람들과 많이 대화해 봤다. 나는 그 논증이 그럴듯하다고—다만 확실한 것은 아니라고—생각하기 때문에 종종 왜 그렇게 생각하는지 묻는다. 사람들의 이유는 천차만별이다. 어떤 이는 정렬이 쉬울 거라고 하고, 어떤 이는 AI가 결코 진정한 의미의 “행위자”가 될 수 없다고 하며, 어떤 이는 진화된 시스템과 설계된 시스템의 위험 차이를 이야기하고, 또 어떤 이는 NP-난해성이나 의식의 본질에 근거한 기술적 논증을 펼친다.

나는 이런 사람들의 마음을 돌리는 데 별 성과를 거두지 못했다. 특정 논증이 틀렸다는 것을 설득하는 데는 성공한 적이 있다. (예를 들어 NP-난해성이나 의식의 본질은 아마 무관하다는 점을 납득시킨 적이 있다.) 하지만 사람들이 그 논증을 포기해도 전체 시나리오를 그럴듯하다고 받아들이지는 않는다. 그저 다른 반론으로 갈아탈 뿐이다.

그래서 나는 대신 단순한 논증을 제시하기 시작했다. 그러자 이런 사실을 알게 됐다. 이런 사람들 중 누구도 실제로는 IQ 300의 AI가 등장할 수 있다는 점을 받아들이지 않는다는 것이다.

물론 겉으로는 받아들인다고 말하는 경우가 많다. 하지만 따져 물어보면, 그들은 어김없이 인간의 핵심 능력 중 일부가 결여된 AI를 상상하고 있다. 흔히 그 AI는 정리를 증명하거나 질문에 답할 수는 있지만, 무언가를 원하고 행동하며 관계를 맺고 장기 계획을 세우는 “행위자”는 아니다.

그래서 나는 이것이 AI 위험 논쟁의 핵심이라고 추측한다. IQ 300에 인간의 모든 능력을 갖춘 AI가 등장할 수 있다는 점을 진정으로 받아들이는 사람들은 거의 예외 없이 AI 위험을 어느 정도는 우려한다. 그리고 AI 위험을 우려하지 않는 사람들은 거의 예외 없이 IQ 300의 AI가 등장할 수 있다는 점을 진정으로 받아들이지 않는다. 이것이 핵심이라면 우리는 가능한 한 빨리 그 핵심으로 가야 한다. 그리고 그 역할은 단순한 논증이 해낸다.

복잡한 논증이 필요한 이유

중립을 자처하지는 않겠다. 제목에서 암시했듯 나는 단순한 논증을 옹호하려는 의도로 이 글을 쓰기 시작했고, 지금도 그 논증이 강력하다고 생각한다. 하지만 상대편의 논거도 고려해 봐야겠다고 생각했고—괜찮은 논거들이 몇 가지 있다.

위에서 나는 복잡한 논증에 두 가지 버전이 있다고 했다. 제시된 시나리오가 반드시 일어날 것이라고 주장하는 “강한” 버전과, 그저 그럴듯하다고 주장할 뿐인 “약한” 버전이다. 나는 강한 버전은 과신이라며 기각했고, 약한 버전은 인류에게 닥칠 수 있는 잘못된 시나리오가 그 외에도 많으니 왜 하필 이 시나리오에만 집중해야 하냐는 이유로 기각했다.

그런데 복잡한 논증에는 중간 버전도 있다. 제시된 시나리오가 확실한 것은 아니지만, 만약 인류에게 일이 잘못된다면 아마도 그 시나리오와 같은 방식으로 잘못될 것이라고 주장하는 것이다. 이는 내 두 가지 반론을 모두 피한다—덜 과신적이며, 왜 하필 이 시나리오에 집중해야 하는지에 대한 타당한 이유를 제공한다.

개인적으로 나는 점진적 권한 상실 같은 다른 나쁜 시나리오도 그럴듯하다고 보기 때문에 이 주장에 동의하지 않는다. 하지만 내가 틀렸을 수도 있다. 복잡한 시나리오가 나쁜 결과들의 확률 질량 대부분을 차지한다는 주장이 터무니없어 보이지는 않는다. 그리고 만약 그게 사실이라면 나는 알고 싶다.

이제 어떤 사람들은 인상을 고려해 특정 논증을 선호하자고 제안한다. 복잡한 논증을 받아들이더라도 더 설득력이 있거나 AI 위험 커뮤니티의 이미지에 더 좋다는 이유로 단순한 논증을 내세우고 싶을 수 있다는 것이다. (“미친 사람처럼 보이고 싶지 않다.”)

개인적으로 나는 그런 부류의 논증 자체에 알레르기가 있다. 나는 자신이 실제로 믿는 것을 주장해야 하며, 사람들이 자신이 믿게 하고 싶은 것을 믿도록 조종하기 위해 만들어낸 희석된 무언가를 주장해서는 안 된다는 강한 선입견을 가지고 있다. 그러니 내 더 단순한 논증이 더 설득력이 있다 한들 그게 무슨 상관인가?

하지만 당신이 복잡한 논증의 중간 버전을 받아들이면서도 내 단순한 논증이 더 설득력 있다고 생각한다고 치자. 그리고 나만큼 고집스럽지 않아서 메시지를 더 효과적으로 다듬고 싶다고 하자. 그렇다면 내 단순한 논증을 써야 할까? 나는 잘 모르겠다.

전형적인 인간의 편향은 다른 사람들도 자신과 비슷할 거라고 생각하는 것이다. (토지가치세로 재원을 마련하는 반려동물 의무 보험을 찬성하는 사람이 몇이나 될까? 적어도 80%는 되겠지?) 하지만 내가 보기에 AI 위험에 관한 상황은 정반대다. 내가 아는 대부분의 사람들은 적어도 약간은 우려하면서도, “일반 사람들”은 AI 위험을 공상과학 헛소리로 여길 거라고 생각한다.

그런데 최근 여론조사를 보면 다음과 같다:

AI에 대해 우려하는 것은 결코 소수의 입장이 아니다. 사람들은 이미 걱정하고 있으며, 그 우려는 점점 커지고 있다.

나는 예전에 내 단순한 논증을 AI 위험을 심각하게 받아들이되 과신하지 않는, 합리적인 중간 지대로 상상하곤 했다:

하지만 나는 내 “당연한 논증”이 사실은 당연해서 사람들이 스스로 깨달을 수 있는 것이 아닐까 생각하기 시작했다. 여론조사 데이터를 보면 실제 상황은 오히려 이와 비슷해 보인다. 왼쪽에 있던 사람들이 점차 중간으로 이동해 오는 모습이다:

오히려 인상 측면에서는 내 단순한 논증보다 자신감 있는 논증이 유리할 수도 있다. 원칙적으로 두 논증은 비슷한 행동을 제안한다: 실존적 위험을 줄이기 위해 신속히 움직이라. 하지만 실제로 내가 보는 것은 대부분의 사람들—심지어 AI 분야에서 일하는 사람들조차—무력감을 느끼며 그저 몸을 움츠리고 잘되기를 바랄 뿐이라는 것이다.

자신이 믿지 않는 것을 옹호해서는 안 된다고 생각한다. 하지만 만약 복잡한 논증을 믿으면서도 인상을 의식해 스스로를 억제하고 있다면, 나는 그 이유를 잘 모르겠다.