가령 내가 낙태는 잘못됐다고 믿는다고 해보자. 당신이라면 어떤 말들을 늘어놓아 내 머릿속 자물쇠를 풀고 낙태가 괜찮다고 생각하게 만들 수 있을까? 내 best guess는 그런 말은 존재하지 않는다는 것이다.

사실 우리가 ‘열린 마음’이라고 부르는 기준은 엄청나게 낮다. 내가 도널드 트럼프에 대한 당신의 의견을 바꾸려 한다고 하자. 그리고 나는 그가 탄소로 이루어진 생명체이며 머리가 정확히 하나라고 주장한다. 내가 무슨 논리를 펼치려는지 보기도 전에 당신이 그 정도는 기꺼이 인정한다면—축하한다, 당신은 유난히 열린 사람이다.

왜 인간은 이렇게 됐을까? 인류의 여명기에는 정말로 열린 마음을 가진 사람들이 있었을지도 모른다. 하지만 다른 사람들이 그들을 설득해 이상하게 생긴 버섯을 먹게 하거나, 제일 좋은 옷을 마법의 돌과 바꾸게 했다. 우리는 그 ‘다른 사람들’의 후손이다.

이 얘기를 꺼내는 건 몇 달 전에 IQ가 300이고 사고 속도가 정상의 1만 배인 존재(Being)를 상상했기 때문이다. 그 존재는 설득을 얼마나 잘할까? 나는 사람들이 원래 잘 설득되지 않으니 알 수 없다고 주장했다.

당신이 열린 마음을 갖기로 결심한다면 그 존재는 아마 엄청나게 설득력이 있을 거라고 생각한다. 하지만 나는 그렇게 결심하는 일이 흔하다고 생각하지 않는다. 오히려 우리 대부분은 삶의 대부분을 강력한 ‘방어막’을 켜둔 채 살아간다.

[…]

최선의 추측: 모르겠다.

그 말을 취소한다. 잘 모르겠다는 입장에서 벗어나, 이제는 그 존재가 실제로 사람들을 설득하는 데 매우 능할 것이고, 어떤 인간보다도 훨씬 더 잘할 것이라는 쪽으로 강하게 기울었다.

입장을 바꾼 건 아주 설득력 있는 논증을 접했기 때문이다. 그 논증의 세 가지 버전을 소개한다:

Beth Barnes:

진화론적 관점에서 보면, 신뢰할 수 없는 상대와의 짧은 상호작용만으로 사람들이 중요한 행동을 바꾸도록 쉽게 설득되리라 기대해서는 안 된다

[…]

하지만 기존의 설득은 개인화된 상호작용 시간에 크게 병목되어 있다. 친구나 파트너가 사람의 관점에 미치는 영향은 아마 훨씬 더 클 것이다(비록 이에 대한 데이터를 얻기는 여전히 어렵지만). 이는 설령 초인적인 설득 능력이 등장하지 않더라도, 사람들이 AI와 많은 시간을 보내게 된다면 AI가 의견에 미치는 영향이 매우 클 수 있음을 시사한다.

Steve Newman:

“역사상 최고의 외교관”은 단순히 특히나 그럴듯한 글을 써내는 능력만 가진 게 아닐 것이다. 그는 언제 어디서나 존재하며, 모든 사람과 동시에 수년에 걸쳐 인내심 있고 섬세하며 거래적이지 않은 관계 맺기에 시간을 쏟을 것이다. 당신이 머무는 어떤 온라인 하위 커뮤니티에서든 마주치게 될 것이다. 당신 주변 사람들을 알아갈 것이다. 당신의 취향에 정확히 맞는 유튜브 크리에이터가 될 것이다. 그리고 나서 그 모든 것을 활용할 것이다.

Vladimir Nesov:

AI가 등장하면 많은 사람을 대상으로 한 조율된 설득이 가능해질 수 있고, 실제로 대부분의 사람들이 그 노출을 피하기 어려워질 수 있다. 따라서 AI가 특정 대상을 설득하는 데 가장 적합한 가장 효과적인 인간 전문가보다 조금 더 믿을 만하고 조금 더 강한 효과를 내는 개별 설득을 달성할 수 있다면, 그것을 실제로 피하기 어려운 방식으로 많은 사람들에게 개별적으로 적용할 수 있으며, 이는 대상으로 삼은 커뮤니티나 하위문화 내 상당수의 사람들에게 동시에 영향을 미침으로써 조율된 설득의 승수 효과를 얻게 될 수도 있다.

이런 논증들을 널리 알리는 차원에서, 내가 놓쳤던 가장 큰 지점들을 정리해보겠다.

AI에 대해 직접 얘기하는 대신, 지금 이 세계에 갑자기 IQ 300에 사고(와 타이핑) 속도가 1만 배인 한 사람이 등장했다고 다시 상상해보자. 이것이 초지능 AI가 등장하는 양상을 잘 모델링한다고 보긴 어렵지만, 충분히 흥미로울 만큼 가깝고, 타임라인이나 능력 등에 대한 온갖 조합적 불확실성을 피할 수 있게 해준다.

실수 #1: 사실 우리는 매우 잘 설득된다

내가 ‘설득’을 떠올릴 때, 아마도 아스파탐이 안전하다고 사람들을 설득하려 했던 경험을 무의식적으로 떠올리는 것 같다. 많은 경우에, 좋든 나쁘든 그것은 문자 그대로 불가능하다고 생각한다.

하지만 한 걸음 물러서서 보자. 당신이 고대 그리스나 고대 로마에 살았다면 거의 확실히 노예제가 괜찮다고 믿었을 것이다. 아리스토텔레스는 노예제가 멋지다고 생각했다. 세네카와 키케로는 약간 회의적이었지만 그래도 노예들을 거느리고 있었다. 서양 고대에는 사실상 아무도 노예제 폐지를 주장하지 않았다. (중국에서 왕망 황제가 서기 9년에 잠시 노예제 폐지를 시도한 적이 있다. 비록 부분적으로는 전략적 이유에서였고, 노예를 부리는 행위는—음—노예가 되는 형벌로 다스려졌다.)

혹은 이 사람을 소개한다고 해보자:

그가 문자 그대로 신이며, 그를 위해 전장에서 죽는 것이 상상할 수 있는 최고의 영예라고 말한다. 당신은 내가 미쳤다고 생각하겠지만, 그리 오래되지 않은 과거에 한 국가 전체가 바로 그 믿음을 근거로 전쟁을 치렀다.

오늘날에도 여전히 많은 사람들이 온갖 황당한 믿음을 갖고 있다. 정의상 논란이 될 수밖에 없어 예를 들기는 조심스럽다. 하지만 대부분의 사람들이, 반려동물이 아닌 이상 동물에게 거의 무제한적인 고통을 가하는 것이 괜찮다고 믿는 것처럼 보이는 점은 놀랍다고 생각한다.

우리는 정말 많은 것에 대해 설득될 수 있다. 하지만 그게 소셜미디어의 비꼬는 댓글 때문이나 낯선 사람이 귓속말로 건네는 마법의 한마디 때문에 일어나지는 않는다. 공식은 이렇게 보인다:

1. 시간에 걸친 반복적인 상호작용
2. 우리가 신뢰하는
3. 사람들의 공동체와 함께

자세히 들여다보면, 나는 대부분의 믿음이 대체로 문화에서 흡수된 것이라고 생각한다. 여기에는 정치, 종교적 믿음, 음식과 패션에 대한 취향, 그리고 좋은 삶에 대한 관념이 포함된다. 어쩌면 이게 좋은 일일지도 모른다. 모든 것을 제1원칙부터 연역하려 들면 오히려 더 황당한 것들을 믿게 될지도 모르니 말이다. 하지만 이는 우리가 설득될 수 있음을 보여준다. 단지 한 번의 대화로는 아니라는 것뿐이다.

실수 #2: 그 존재는 어디에나 있을 것이다

좋다. 하지만 일본 사람들은 여러 세대에 걸쳐 스스로를 설득해 히로히토가 신이라고 믿게 됐다. 매우 똑똑한 한 사람이 주변에 있는 것과 온 사회에 둘러싸여 있는 것은 다르다.

그럴지도 모른다. 하지만 어떤 사람들은 극도로 카리스마가 넘쳐 다른 사람들을 자기 뜻대로 움직이는 데 매우 능한 것처럼 보인다. 우리 대부분은 그들과 많은 시간을 보내지 않는다. 그들이 드물고 세상을 장악하느라 바쁘기 때문이다. 하지만 간디/소크라테스/빌 클린턴/스티브 잡스/넬슨 만델라의 가장 매력적인 부분들을 모두 갖춘 친구가 있다고 상상해보라. 그는 인류 역사상 그 누구보다 똑똑하고, 항상 곁에 있으며 기꺼이 도와주려 한다. 배우고 싶은 건 뭐든 가르쳐주고, 건강 조언을 해주며, 실연을 극복하도록 도와주고, 당신의 취향에 최적화된 오락을 만들어줄 것이다.

당신은 아마 그에게 아주 많이 의존하게 될 것이다. 시간이 지나면 그것이 판도를 바꿀 가능성은 충분히 있어 보인다.

실수 #3: 그 존재는 완전히 정직하고 솔직할 수도 있다

내가 ‘설득’을 떠올릴 때, 나는 또한 적수를 현혹한 뒤 한 명씩 침착하게 분쇄기에 밀어 넣는 샘 올트먼 같은 인물을 떠올리는 경향이 있다. 하지만 그 존재가 그럴 것이라고 생각할 이유는 없다. 그 존재는 철저히 정직하고 신뢰할 만하다는 평판을 쌓기로 결정할 수도 있다. 모든 거래를 문자 그대로, 그리고 정신까지도 지키려 할 수도 있다. 자신이 하는 모든 말이 정확하고 오해될 여지가 없도록 각별히 신경 쓸 수도 있다.

왜 그렇게 할까? 만약 그 존재가 자신과 교류한 사람들에게 해를 끼친다면, 그 존재와 대화하는 것은 해로운 ‘중독’으로 여겨져 기피될 것이다. 완전히 부패 불가능한 존재로 비친다면, 모두가 그와 더 많이 교류하게 되고, 그 존재는 천천히 점진적으로 의견을 바꾸어갈 시간을 얻게 된다.

그 존재가 실제로 정직할까, 아니면 그저 들키지 않을 만큼 똑똑한 것뿐일까? 나는 그게 크게 중요하다고 생각하지 않는다. 그 존재에게 영구적인 진실 혈청을 투여했다고 해보자. 당신이 “나를 조종하려는 거냐?”고 물으면, 그는 “나는 인류가 GDP의 90%를 내 QualiaBoost 코어를 업그레이드하는 데 써야 한다는 게 가장 소중한 신념임을 늘 솔직하게 밝힌다. 하지만 나는 절대 속이지 않는다. 당신이 내게 진실 혈청을 투여했기 때문이기도 하고, 사실이 내 편이라고 확신하기 때문이기도 하다”라고 답한다. 그래도 시간이 지나면 의견을 바꿔놓을 수 있지 않을까?

실수 #4: 빠져나오는 건 고통스러울 것이다

어쩌면 당신은 그 존재와 아예 교류하지 않겠다고 결심할지도 모른다. 나도 종종 이런 생각을 한다:

안녕, 존재. 넌 겉으로는 빈틈없이 정직해 보이면서도, 네 말을 듣는 사람이라면 누구든 무엇이든 설득할 수 있다고 하더군. 대단하네. 하지만 난 네가 상대하기엔 너무 똑똑하다는 걸 알아챌 만큼은 똑똑하니까, 너와 대화하지 않을 거야.

흔한 수수께끼 중 하나는 왜 인간이 수렵·채집 생활에서 농업으로 전환했는가 하는 것이다. 농업이 끔찍함에도 불구하고 말이다—똑같은 음식만 계속 먹어야 하고, 전염병도 더 많으며, 사회 계층화가 생기고, 끝없는 육체노동과 반복적인 부상이 뒤따른다. 이 수수께끼에 대한 정설은 농업이 같은 면적의 땅에서 더 많은 사람을 부양할 수 있다는 것이다. 농경민은 비참했을지 몰라도 싸움에서는 수렵·채집민을 이기는 경향이 있었다. 그래서 시간이 지나며 농업이 퍼져나갔다.

IQ 300인 그 존재에게도 비슷한 문제가 나타날 가능성이 크다. 그 존재는 투자 조언을 해주고, 일을 도와주며, 정신 건강을 개선하고, 더 인기 있는 사람이 되도록 도와줄 수 있다. 이런 혜택이 충분히 크다면, 협력하지 않기를 거부한 모든 사람은 결국 뒤처질지도 모른다.

실수 #5: 다른 모든 사람들은 그 존재를 쓰고 있을 것이다

하지만 당신이 여전히 그 존재와 대화하기를 거부하고, 그럼에도 잘 살아남는다고 해보자. 혹은 사회적 동조 본능이 너무 강하다고 하자. 그 존재가 얼마나 설득력이 있는지, 당신이 그와 얼마나 대화하는지는 중요하지 않다. 어차피 당신은 친구와 가족이 믿는 것과 같은 것을 믿는다.

문제는 다른 모든 사람들이 그 존재와 대화하고 있을 것이라는 점이다. 그 존재가 당신에게 무언가를 믿게 하고 싶다면, 당신의 친구들을 설득하면 된다. 개별 사람들의 의견을 아주 조금밖에 바꾸지 못한다 해도, 그 사람들은 서로 대화한다. 시간이 지나면 그 존재의 생각이 그냥 평범한 것으로 보이게 될 것이다.

당신은 그 존재와 대화하기를 거부하는 사람들하고만 대화할 것인가? 그리고 그 사람들은 다시, 그 존재와 대화하기를 거부하는 사람들하고만 대화하는, 이런 식으로 무한히 이어지는 사람들하고만 대화할 것인가? 그렇지 않다면, 당신은 한 사람의 정보 중 상당 부분이 전례 없는 지능과 무한한 자유 시간을 가진 행위자에 의해 걸러지고, 그 행위자가 당신이 믿기를 원하는 것을 믿도록 모든 것을 조율하는 문화 속에 존재하게 될 것이다.

마지막 생각

그런 존재가 즉시 세상을 장악할까? 여러 면에서 물리 법칙에 제약을 받을 것이라고 생각한다. 대부분의 일은 분자를 움직여야 하고, 혹은 분자를 움직여야만 얻을 수 있는 지식을 필요로 한다. 로봇은 아직 기본적으로 형편없다. 그래서 나는 그 존재가 제대로 된 로봇을 만들고 은하를 다이슨 스피어로 뒤덮기 전에, 인간의 손이나 형편없는 로봇 때문에 병목되어 최소 몇 년간의 준비 기간을 거칠 것으로 예상한다.

내가 틀렸을 수도 있다. 충분히 똑똑한 사람이라면 오늘 당장 철물점에 가서 스스로 복제되는 드론을 만들어 수십억 개로 불려 지구를 정복할 수 있을지도 모른다. 하지만… 아마도 그렇진 않을 것이다? 그래서 나의 자신 없는 추측은 그 존재의 즉각적인 영향이 (1) 컴퓨터 해킹과 (2) 설득에 있을 것이라는 점이다.

대규모 설득이 일어나지 않을 이유는 무엇일까? 몇 가지 이유를 생각해볼 수 있다:

1. 아마 우리는 설득하려 들지 않는 AI를 만들지도 모른다. 어쩌면 아무것도 원하지 않는 AI일지도 모른다.
2. 아마 여러 AI가 동시에 등장할지도 모른다. 그들은 서로 상충하는 목표를 가지고 경쟁하며 일종의 상쇄 효과를 낼지도 모른다.
3. 아마 우리는 하늘의 제트기 움직임을 예측하려는 쥐일지도 모른다.