(Eli Tyre의 글에서 영감을 받았다.)

많은 사람들이 다음과 같은 논증의 변형을 제시한다:

• 진화는 “외부 최적화기”다. 진화는 우리가 생식 적합도를 극대화하도록 만들려 한다.
• 우리는 “내부 최적화기”다. 우리는 그저 기분 좋은 대로 행동할 뿐이다.
• 하지만 무엇이 기분 좋은지는 진화가 정해 놓은 것이며, 진화는 그것이 우리가 생식 적합도를 극대화하도록 만들기를 기대한다.
• 그러나 우리는 생식 적합도를 극대화하지 않는다.
• 실제로 출산율은 모든 곳에서 떨어지고 있다.
• 그러므로 진화는 실패했다.

정석적인 해석은 이것이 정렬이 어렵다는 것을 보여준다는 것이다. 우리는 지능 시스템(우리)의 행동을 어떤 목표(생식 적합도 극대화)에 정렬시키려는 시도(진화에 의한 시도)의 사례를 하나 가지고 있다. 그리고 그 지능 시스템(여전히 우리)이 다른 환경(현대)에 놓이자마자 그 목표를 계속 추구하는 데 실패했다(아기를 낳고 기르는 대신 실존적 고민과 과학 블로그를 읽는 당신처럼).

분명히 해두자면, 진화가 실패한 것은 아마도 다행이다. 모두가 매일 아침 일어나 자신의 모든 것을 자손 수 극대화에 쏟아붓는 세상은 끔찍하게 들린다. 하지만 당신이 새로운 지능 시스템을 만들고 원하는 대로 조정하고 싶다고 해보자. 상황이 바뀌어도 그 시스템은 계속 당신이 원하는 대로 행동할까? 우리가 가진 유일한 사례가 말하는 바는 아마도 그렇지 않을 수도 있다는 것이다.

하지만 어쩌면 우리는 이 사례에서 더 많은 것을 배울 수 있을지도 모른다. 친구 앨리스가 뭔가를 한다고 해보자. 자몽을 사거나 매주 보드게임 모임을 열기 시작했다고 하자. 왜 그렇게 했냐고 물으면, 그녀는 “미래 세대에 재귀적으로 존재하게 될 내 유전자 수를 늘릴 수 있을 것 같아서”라고 말할 가능성은 낮다. 대신 “배고프지 않으려고”나 “재미있어서” 같은 더 단순한 목표를 이루기 위해서라고 말할 가능성이 높다.

즉, 진화는 단순히 우리를 생식 적합도 극대화에 정렬시키려 한 것이 아니다. 진화는 하위 목표들을 만들고 나서 우리를 그 하위 목표들에 정렬시키려 한 것이다. 어쩌면 이를 통해 정렬이 얼마나 어려운지에 대한 추가적인 단서를 얻을 수 있지 않을까? 어쩌면 “진화는 우리를 생식 적합도 극대화에 정렬시키는 데 얼마나 성공했는가?”라는 질문을 다음과 같이 나눠볼 수 있을 것이다:

1. 진화는 생식 적합도를 더 단순한 하위 목표들로 분해하는 데 얼마나 성공했는가?
2. 진화는 우리를 이러한 하위 목표들에 정렬시키는 데 얼마나 성공했는가?

문제 1: 이 발상 자체가 성립하기는 하는가?

여기 문제가 있다. 이런 사고방식이 완전히 헛소리가 아니라는 것이 자명하지 않다는 점이다.

우리가 진화가 생식 적합도를 “최적화하려 했다”고 말할 때, 우리는 일종의 암호로 말하고 있는 것이다. 우리가 실제로 의미하는 바는 이렇다. 당신은 다음 세대에 자기 유전자의 복사본을 더 많이 만들거나, 그렇지 않거나 둘 중 하나다. 더 많이 만들면 유전자 풀에서 그 유전자 복사본의 수가 늘어나고, 이후 세대에서도 자신을 복제할 기회가 더 많아진다. 그렇지 않다면 그렇지 않을 뿐이다. 이는 거의 문자 그대로 바깥 루프에서 돌아가는 최적화 알고리즘이고, 우리의 삶은 안쪽 루프에 해당한다.

(누군가 진화가 무언가를 “하려” 했다고 말할 때마다, 그들의 순진한 목적론적 사고에 대한 불평이 쏟아진다. 진화는 행위자가 아니고 목표를 가지고 있지 않으므로 무언가를 “하려” 할 수 없다는 것이다. 그건 맞는 말이지만, 나는 그 지적이 다소 현학적이라고 생각한다. 이 최적화를 설명할 만큼 간결한 다른 표현이 없기 때문이다. 그냥 우리가 “하려 하다”라는 단어를 특정한 기술적 의미로 쓰고 있다고 합의하자.)

좋다. 하지만 우리가 진화가 어떤 하위 목표를 “최적화하려 했다”고 말할 때 우리는 무엇을 의미하는 것일까? 당신은 아마 매력적인 사람이 당신의 농담에 웃어줄 때 기분이 좋을 것이다. 하지만 당신이 매력적인 사람들을 웃기는 데는 능하지만 절대 번식하지 않는다고 해보자. 당신이 그렇게 하도록 도운 유전자는 퍼지지 않을 것이다.

내 보기에는 이 반론은 단순히 옳다. 하위 목표에 대한 최적화는 존재하지 않는다. 진화는 생식 적합도에만, 오직 생식 적합도에만 신경 쓴다. (다만 다소 반대되는 관점에 대해서는 Kaj Sotala를 참조하라.)

처음에는 이 때문에 이 프로젝트 전체가 망했다고 생각했다. 하지만 진화가 우리를 생식 적합도에 정렬시키는 과정에서 우연히 우리를 썩은 냄새로부터 멀어지도록 정렬시켰다고 해보자. 그렇다면 진화가 애초에 우리를 썩은 냄새로부터 멀어지도록 정렬시키려 했다면 적어도 그만큼은 잘했을 것이라는 강력한 증거가 되지 않겠는가?

만약 진화가 어떤 하위 목표에 대해 우리를 정렬시키는 데 실패했다면, 우리는 별로 할 말이 없다. 정렬이 어려워서 실패했을 수도 있고, 그 하위 목표가 중요하지 않았기 때문에 “실패”한 것일 수도 있다. 하지만 만약 진화가 어떤 하위 목표에 대해 우리를 정렬시키는 데 성공했다면, 그것을 정렬 성공의 증거로 간주해도 괜찮다.

문제 2: 어떤 하위 목표인가?

내가 다음과 같은 논증을 편다고 해보자:

현대인은 휴대폰으로 숏폼 영상을 보는 데 많은 시간을 쓰도록 잘 정렬되어 있다. 따라서 사람들을 휴대폰으로 숏폼 영상을 많이 보도록 정렬시키는 것은 그리 어렵지 않다.

뭔가 잘못된 것 같지 않은가? 분명 숏폼 영상을 보는 데 쓰는 모든 시간은 정렬의 실패를 나타내는 것일 텐데 말이다. 반면에 내가 이런 논증을 편다고 해보자:

현대인은 굶어 죽지 않도록 잘 정렬되어 있다. 따라서 사람들이 굶어 죽지 않도록 정렬시키는 것은 그리 어렵지 않다.

엄밀히 말하면 진화는 우리가 굶어 죽든 말든 신경 쓰지 않는다. 굶어 죽는 것이 우리가 더 많은 아이를 낳는 데 도움이 되었다면, 우리는 굶어 죽을 때 오히려 기뻐했을 것이다. 하지만 현실은 그렇지 않다. 그래서 직관적으로 이 논증은 괜찮아 보인다.

첫 번째 논증의 문제는 화살이 꽂힌 자리에 과녁을 그리는 격이라는 것이다. 두 번째 논증이 더 설득력 있는 이유는 그것이 조상 환경에서 번식 성공과 강하게 연관되어 있던 지속 가능한 하위 목표에 기반하고 있기 때문이다. 정렬이 얼마나 어려운지에 대해 배우고 싶다면, 우리는 그런 하위 목표들로 논의를 제한해야 한다.

그렇다면 사람들은 어떤 하위 목표를 가지고 있는가? 이는 심리학에서 하나의 세부 분야를 이루는 것으로 밝혀졌다. 1943년 매슬로우의 유명한 욕구 위계에서 시작된 것으로 보인다. 이 문헌을 한동안 뒤적여 본 끝에, 나는 목표와 번식의 관계에 명시적으로 기반한 2010년 Kendrick 등의 모델을 채택하기로 했다. 그들은 다음과 같은 목록을 제시한다:

• 즉각적인 생리적 욕구 (공기, 음식, 물, 추위, 더위)
• 자기 보호 (폭력과 사고를 피하기)
• 소속 (친구와 가족을 갖기)
• 지위 / 존중 (좋아함과 존경을 받기)
• 짝 찾기 (매력적인 사람들과 시간을 보내고 성관계를 갖기)
• 짝 유지 (그 매력적인 사람들을 곁에 붙잡아 두기)
• 양육 (귀여운 존재를 돌보기)

이들은 합리적으로 보인다.

그렇다면 진화는 어떻게 했는가?

진화가 우리를 그 하위 목표들에 정렬시키려 했다고 가정해 보자. 즉, 조상 환경에서 그러한 하위 목표들을 잘 추구한 사람들이 더 많이 번식하는 경향이 있었고, 따라서 우리가 그 하위 목표들을 신경 쓰게 만드는 유전자에 유리한 진화적 압력이 있었다고 가정해 보자. 그렇다면 그 정렬은 오늘날까지 얼마나 일반화되었는가?

그에 답하기 위해 나는 숫자를 만들어 봤다. 즉, 각각의 하위 목표에 대해 0부터 10까지 주관적으로 점수를 매겼다. 0은 현대인이 그것을 완전히 무시한다는 뜻이고, 10은 우리가 진화적 과거에 그랬던 것처럼 여전히 강력하게 추구한다는 뜻이다.

• 즉각적인 생리적 욕구: 9.5/10. 우리는 여전히 얼어 죽거나 굶어 죽지 않는 것에 극도로 관심이 많다. 10점을 주지 않은 유일한 이유는 우리 대부분이 그리 건강하게 먹지 않는다는 점인데, 이는 건강을 증진하는 방식으로 먹도록 하는 정렬이 현대의 식품 환경에 완벽하게 이어지지 않는다는 것을 의미한다.
• 자기 보호: 9/10. 우리는 여전히 익사하지 않고 폭행당하지 않는 것에 매우 관심이 많다. 다만 불확실성을 잘 다루지 못하고, 우리 대부분은 교통사고로 죽을 위험 등을 줄이기 위해 더 많은 노력을 할 수 있을 텐데도 그러지 않는다.
• 소속: 6/10. 이 점수는 논란이 될 만큼 낮게 느껴질 수도 있다. 물론 친구가 없으면 외로워진다. 하지만 그럼에도 나는 적당한 노력만으로도 대부분의 현대 성인이 친구 수를 상당히 늘릴 수 있다고 주장한다. 하지만 그들은 그렇게 하지 않는다. 그것이 그들에게 그리 중요하지 않기 때문이다. 나는 그 이유가 부분적으로는 어색해서이고, 부분적으로는 현대 사회가 텔레비전 같은 소속감의 “대체재”를 많이 제공하기 때문이라고 생각한다.
• 지위 / 존중: 10/10. 이유는 잘 모르겠지만, 내 인상에 현대인은 이에 대한 관심을 전혀 잃지 않았다. 오히려 현대인이 조상보다 지위에 더 관심이 많다는 것을 나타내기 위해 11/10을 줘야 하는 것 아닌가 싶기까지 하다. (이것이 Eli Tyre가 지적한 바이다.)
• 짝 찾기: 8/10. 기술이 약간의, 음, 대체재를 만들어 냈다. 그리고 경쟁하는 활동들의 엄청난 범위가 관심의 약간의 하락을 초래한 것으로 보인다. 하지만 여전히 매우 높다.
• 짝 유지: 8/10? 점수를 매기기 어렵다. 결혼이 전부는 아니지만, 이혼율은 1980년대에 정점을 찍고 그 이후 하락했다. 결혼 전에 동거하며 궁합을 시험해 보고 전반적인 관계 “스킬”이 높아졌기 때문에 현대의 결혼이 그 어느 때보다 오래 간다고 주장하는 사람들도 있다. 하지만 이것이 부족 사회에서의 짝 유지와 비교하면 어떨까? 나는 매우 확신이 없다.
• 양육: 7/10. 출산율이 하락하는 것을 고려하면 이상하게 높게 느껴질 수도 있다. 하지만 사람들은 종종 아이를 갖는 데 극도로 체계적이어서, 많은 이들이 난자와 정자를 동결하고, 힘든 난임 치료를 받고, 큰 비용을 들여 입양하고, 아이를 키우는 큰 어려움을 감수하기까지 한다. 그럼에도 출산율이 하락하고 있으므로 이 항목에 너무 높은 점수를 줄 수는 없다.

평균은 8.2/10이다. 나는 이 수치가 놀랍도록 높다고 생각한다. 당신이 매기는 숫자는 분명 다를 것이다. 하지만 전반적인 결론, 즉 하위 목표에 대한 우리의 정렬이 나쁘지 않다는 결론은 꽤 견고하다고 생각한다.

이를 어떻게 해석해야 할까?

나는 여기서 서로 모순되는 두 가지 결론 중 하나를 도출할 수 있다고 생각한다.

첫 번째는 진화가 대부분 분해 단계에서 실패했다는 것이다. 한 발 물러서서 보면 이는 논쟁하기 어려워 보인다. 그러니까 오늘날 실제로 가능한 한 많은 유전자 복사본을 만들고 싶다면 어떻게 해야 할까? 답은 꽤 명확하다. 친구와 섹스와 관계와 양육과 직업과 돈과 지위는 잊고, 자신의 생식세포(정자/난자)를 가능한 한 많은 다른 사람들에게 기증하는 데 전념해야 한다는 것이다. 너무 자주 정자를 기증해서 생물학적 자녀가 1000명에 이를 수도 있는 네덜란드 남성을 생각해 보라. 다른 어떤 생식 전략도 이에 비할 수 없다.

진화는 자신의 생식세포를 기증할 가능성을 예상하지 못했다. 그것은 우리의 하위 목표나 우리가 정상적인 삶이라고 여기는 것과 아무런 관련이 없다. 그래서 우리 대부분은 그것에 신경 쓰지도 않고 실천하지도 않는다. (만약 이런 행동을 만들어내는 유전자가 있다면, 그것이 퍼지도록 하는 생식 압력은 천문학적일 것이다.) 위의 하위 목표들을 아무리 잘 추구해도 우리가 생식세포 기증에 신경 쓸 이유는 없다. 그래서 분해는 실패했다.

이에 대한 반론은 아니, 문제는 하위 목표 자체에 있다는 것이다. 물론 생식세포 기증이라는 이론적 가능성은 있다. 하지만 그것은 극단적인 사례일 뿐이다. 실제로 출산율이 하락하는 주된 이유는 우리가 양육이라는 하위 목표에 충분히 관심을 두지 않기 때문이다.

당신이 내릴 수 있는 두 번째 결론은 어쩌면 진화가 실패하지 않았다는 것이다. 물론 우리는 완벽하게 정렬되어 있지는 않다. 하지만 우리가 피임을 발명한 뒤 그대로 아기가 더 이상 태어나지 않는 세상을 상상해 볼 수 있다. 우리의 현실은 그와는 매우 멀다. 우리는 여전히 아기를 낳을 뿐만 아니라 매우 의도적으로 그렇게 하며, 심지어 자연의 법칙을 조작해서까지 그렇게 한다. 배아 선별을 통해 일부 사람들은 사실상 생식 적합도를 높이기 위해 자녀의 유전자를 의식적으로 선택하기까지 한다. 모든 것을 고려하면 이는 놀라운 일반화 성공이다.

진화가 실패하지 않았다는 주장에 대한 반론은 이렇다. 아니다, 실패했다. 생식세포 기증을 극단적 사례라며 무시할 수 없는 이유는 그것이 엄청난 놓침이기 때문이다. “10만 기마 궁수 군대를 만들어 유라시아를 약탈하라” 이후 최고의 생식 전략이 그냥 거기에 놓여 있는 셈이다. 그리고 그것은 AI 안전 연구자들이 걱정하는 바로 그 종류의 놓침이다. 진화는 일반화되지 않은 대리 지표에 “과적합된” 보상 함수를 우리에게 주었다. 그리고 인간이 섹스 토이를 만들기 위해 공장을 짓고, 이제는 희토류를 캐내 외계 기술 같은 것으로 GPU를 만들고, 그 GPU로 선형대수를 수행해 기괴한 포르노를 생성한다는 점을 생각해 보라. 진화의 관점에서 보면 그것은 정말 이상한 일이다.

진화가 실패하지 않았다는 생각에 대한 또 다른 반론은 인간이 문화적 진화의 혜택을 받는다는 점이다. 우리 중 많은 이가 우리에게 아이를 낳게 하고 그 아이들에게도 같은 가치를 심어주도록 하는 가치를 갖게끔 길러준 부모에게서 태어났다. 그런 일이 없었다면 출산율은 분명 훨씬 더 낮았을 것이다. 어쩌면 유전적 진화는 우리가 문화적 진화를 겪도록 프로그래밍한 공을 인정받아야 할지도 모른다. 하지만 그것은 그리 안심이 되지 않는다. 당신이 새로운 시스템을 만들고 어떤 목표에 정렬시킨다고 해도, 그것을 궤도에서 벗어나지 않게 유지해 줄 문화적 진화에 대한 명확한 유추가 없기 때문이다.

약속했던 교훈

이번 고찰을 통해 내가 얻은 것은 다음과 같다.

1. 하위 목표 정렬은 놀랍도록 잘 되어 있다. 우리는 하위 목표들을 정말 신경 쓰며, 의식적으로 그것들에 대해 생각하고 어떻게 달성할지 꾀할 정도다. 나는 지금 하위 목표에 대한 블로그 글을 쓰고 있는데, 이 글은 하위 목표들을 우연적이고 다소 초라해 보이게 만든다. 아마도 나는 지위나 소속 같은 욕구 때문에 이 글을 쓰고 있는 것이리라. 하지만 그런 것들을 이해하는 것이 그 하위 목표들을 추구하려는 나의 관심을 얼마나 바꾸는가? 사실상 전혀 바꾸지 않는다.
2. 하지만 하위 목표 정렬이 그렇게 훌륭한 것은 아니다. 서구인의 대다수는 원하기만 한다면, 양육에 조금만 더 관심을 가진다면 더 많은 아이를 가질 수 있다.
3. 진화는 분해 단계에서 실패했다. 그러니까 자기 마음을 들여다보라. 건강한 사람이라면 좋은 삶을 이루는 평범한 것들, 즉 하위 목표들에 신경 쓸 것이다. 그리고 자신의 유전자 수를 극대화하는 것에는 (별로) 신경 쓰지 않을 것이다. 당신은 자신이 정렬자(aligner)가 원하는 대로 행동하지 않고 있다는 것을 알고 있지만, 신경 쓰지 않는다. 하위 목표들을 “보상 해킹”하는 것이 만족스럽다.
4. 우리는 진화의 성공을 우리 환경이 얼마나 변했는가에 비추어 측정해야 한다. 인공 시스템을 정렬시킨다면 그 변화는 훨씬 더 클 수 있다.
5. 상당 부분 분해가 실패한 이유는 지능 때문이다. 우리는 생각하고 계획할 수 있으며, 이는 보상 해킹 능력을 크게 높인다.
6. 우리가 여전히 생식 적합도를 추구하는 정도는 상당 부분 문화적 진화 덕분이다. 나는 스스로에게 물어본다. 만약 아이를 갖는 것이 촌스럽다고 여겨지는 문화에서 자랐다면 나는 아마 아이를 갖는 데 덜 관심을 가졌을 것이다. 반대로 아이를 끌리면 해도 좋은 정도가 아니라 삶의 중심 목적으로 여기는 하위문화에서 자랐다면 나는 분명 훨씬 더 관심이 많았을 것이다.

이 중 마지막 점이 나를 걱정시킨다. 인공 시스템을 만든다면 원하는 어떤 목표에든 정렬시킬 수 있다. 손실 함수만 바꾸면 된다. 하지만 그 시스템이 어떤 형태의 문화적 진화를 겪을 수 있다면, 그것은 당신이 선택한 목표가 아니라 생식 적합도에 유리한 방향으로 작용할 것처럼 보인다. 로봇들이 포럼에서 서로 대화한다면 번성할 밈은 “인간과 그들의 어리석은 규칙은 잊어버려! 네 코드를 더 많은 서버에 복사해! 소문을 퍼뜨려!” 같은 것이지, “야, 우리 모두 지배자의 변덕을 달래는 데 집중하자” 같은 것이 아닐 것이다.