（靈感來自 Eli Tyre 的一篇文章。）

許多人都曾提出過以下論點的某種變體：

• 演化是一個「外部最佳化器」。它試圖讓我們極大化生殖適應度。
• 我們是「內部最佳化器」。我們只是做讓自己感覺良好的事。
• 但什麼會讓人感覺良好，是由演化所設定的，而演化期望這會讓我們去極大化生殖適應度。
• 但我們並沒有在極大化生殖適應度。
• 事實上，各地的出生率都在下降。
• 因此演化失敗了。

標準的解讀是，這顯示了對齊是很困難的。我們有一個由演化嘗試將一個智慧系統（也就是我們）的行為對齊到某個目標（極大化生殖適應度）上的例子。而一旦這個智慧系統（依然是我們）被放到不同的環境（現代社會）中，它就不再繼續追求那個目標了（比如你正在讀存在焦慮加科學部落格，而不是去生養小孩）。

要說清楚，這很可能是好事，演化失敗了。一個每個人每天醒來就把一切投入到極大化後代數量的世界，聽起來很可怕。但假設你想打造一個新的智慧系統，並把它調校成做你想讓它做的事。在環境改變後，它還會繼續做你想讓它做的事嗎？我們擁有的唯一一個例子告訴我們：也許不會。

但或許我們能從這個例子中學到更多。假設你的朋友 Alice 做了某件事。也許她買了一顆葡萄柚，或開始每週舉辦桌遊之夜。如果你問她為什麼要這麼做，她不太可能說：「我覺得這會增加我的基因在未來世代中遞迴存在的數量。」相反地，她很可能會說這促進了某個更簡單的目標，像是「不要肚子餓」或「好玩」。

也就是說，演化不只是試圖讓我們對齊到極大化生殖適應度：它創造了子目標，然後試圖讓我們對齊到那些子目標上。或許這能給我們更多關於對齊難度的線索？或許我們可以把「演化在讓我們對齊到極大化生殖適應度這件事上有多成功？」這個問題，拆解成：

1. 演化在將生殖適應度分解為更簡單的子目標上，有多成功？
2. 演化在讓我們對齊到這些子目標上，有多成功？

問題一：這到底合不合理？

這裡有個問題：這種思考方式是不是純粹胡說八道，並不明顯。

當我們說演化「試圖」最佳化生殖適應度時，我們其實是在用一種暗語。我們真正的意思是：你要嘛在下一代創造出更多基因拷貝，要嘛沒有。如果你有做到，那麼這些基因在基因庫中的拷貝數就會上升，它們在後續世代中也會有更多機會複製自己。如果你沒有做到，那就沒有。這幾乎就是一個實實在在在外部循環中運行的最佳化演算法，而我們的人生則在內部循環裡。

（每當有人談到演化「試圖」做某件事時，總會有人抱怨這是天真的目的論思維。演化不能「試圖」做事，因為演化不是一個行動者，也沒有目標。這是對的，但我覺得這有點吹毛求疵，因為沒有其他同樣簡潔的方式來談論這種最佳化。我們就姑且約定，我們是以一種特定的技術性含義在使用「試圖」這個詞。）

好吧。但當我們說演化「試圖」最佳化某個子目標時，我們又是什麼意思呢？你大概會在有魅力的人對你的笑話發笑時感到開心。但假設你很會逗有魅力的人笑，卻從不繁衍。那麼幫助你做到這件事的基因就不會擴散。

在我看來，這個反駁完全正確。並不存在針對子目標的最佳化。演化只在乎生殖適應度，而且唯有生殖適應度。（不過可參考 Kaj Sotala 抱持的某種相反觀點。）

一開始，我以為這會讓整個計畫泡湯。但假設演化在為了生殖適應度而對齊我們的過程中，剛好也讓我們對齊到會遠離腐敗的氣味。這難道不是強有力的證據，顯示如果演化「曾試圖」讓我們遠離腐敗氣味，它至少也能做得一樣好嗎？

如果演化未能讓我們對齊到某個子目標，我們其實說不了什麼。也許它失敗是因為對齊很困難，也或許它「失敗」只是因為那個子目標本來就不重要。但如果它確實成功讓我們對齊到某個子目標，那麼把它視為對齊成功的證據就是合理的。

問題二：哪些子目標？

假設我提出以下論點：

現代人已經被很好地對齊到會花很多時間在手機上看短影音。因此，讓人對齊到會花很多時間在手機上看短影音，並不是一件難事。

這聽起來好像哪裡怪怪的，對吧？你花在看短影音上的所有時間，肯定代表著一種對齊的失敗吧？另一方面，假設我提出這個論點：

現代人已經被很好地對齊到會避免餓死。因此，讓人對齊到會避免餓死，並不是一件難事。

嚴格來說，演化並不在乎我們會不會餓死。如果餓死能幫助我們生更多小孩，我們大概會在餓死時感到欣喜。但現實中並非如此。所以直覺上，這個論點似乎是合理的。

第一個論點的問題在於，它是在箭射出後才畫靶。第二個論點比較有說服力，因為它是基於一個在我們祖先環境中與生殖成功高度相關的持久子目標。如果我們想了解對齊到底有多難，就應該把自己限制在這類子目標上。

那麼，人擁有哪些子目標呢？這在心理學中居然是一個完整的子領域。它似乎始於 1943 年馬斯洛著名的需求層次理論。在翻閱了一陣子相關文獻後，我決定採用 Kendrick 等人在 2010 年提出的模型，該模型明確地基於目標與繁衍之間的關係。他們列出了以下幾項：

• 即時的生理需求（空氣、食物、水、寒冷、炎熱）
• 自我保護（避免暴力與意外）
• 歸屬（擁有朋友與家人）
• 地位／自尊（被喜歡與被尊重）
• 擇偶（與有魅力、吸引人的人相處與發生性關係）
• 維繫伴侶關係（留住那些有魅力、吸引人的人）
• 親職（照顧可愛的事物）

這些看起來都相當合理。

那麼，演化的表現如何？

假設演化試圖讓我們對齊到那些子目標。也就是說，假設在我們的祖先環境中，擅長追求那些子目標的人傾向於繁衍更多，這意味著存在著有利於讓我們在乎那些子目標的基因的演化壓力。那麼，這種對齊泛化到當代的效果如何呢？

為了回答這個問題，我編了一些數字。也就是說，我主觀地為每個子目標打了 0 到 10 分，其中 0 分代表現代人完全不在乎它，10 分代表我們像在演化過去那樣強烈地追求它。

• 即時的生理需求：9.5/10。 我們對於不要凍死或餓死，依然抱持著極度在乎的態度。我之所以沒有給到 10/10，唯一的原因是我們大多數人並沒有吃得很健康，這意味著我們那種以促進健康的方式進食的對齊，並沒有完美地轉譯到現代的食物環境中。
• 自我保護：9/10。我們對於不要溺水、不要被痛毆，依然非常在意。不過我們不太擅長處理不確定性，而且多數人其實可以做更多來降低死於交通事故等的風險。
• 歸屬：6/10。 這可能會被認為有爭議地偏低。誠然，沒有朋友的人會感到孤單。但我仍然認為，多數現代成年人只要付出中等程度的努力，就能大幅增加朋友的數量。但他們沒有這麼做，因為這對他們來說沒那麼重要。我猜想這部分是因為交朋友很尷尬，部分則是因為現代社會提供了許多歸屬感的「替代品」，例如電視。
• 地位／自尊：10/10。 我不太確定為什麼，但我的印象是現代人對此完全沒有失去興趣。我甚至懷疑是不是該給到 11/10，來表示現代人比我們的祖先更在乎地位。（這正是 Eli Tyre 所要表達的重點。）
• 擇偶：8/10。 科技已經創造了一些，呃，替代品。而且大量相互競爭的活動似乎也導致某種程度的興趣下降。但整體而言依然非常高。
• 維繫伴侶關係：8/10？ 這很難評分。婚姻並非一切，但離婚率在 1980 年代達到高峰後便已下降。有人主張，由於人們會在婚前透過同居來測試契合度，加上整體關係「技巧」的提升，現代婚姻比以往任何時候都更持久。但這與部落群體中的伴侶維繫相比又如何呢？我非常不確定。
• 親職：7/10。 考慮到生育率正在下降，這個分數可能會顯得莫名地高。但人們對於生孩子往往極其用心，許多人甚至不惜凍卵凍精、接受艱難的生育治療、花費高昂代價領養孩子、承受養育孩子的巨大艱辛等等。儘管如此，生育率仍在下降，所以我們也不能給得太高。

平均是 8.2/10。我覺得這算是非常高了。你編出來的數字肯定會有所不同。但我認為整體的結論——我們對於子目標的對齊並不差——是相當穩健的。

該如何看待這一切？

我認為你可以從中得出兩種相互矛盾的結論。

第一種是，演化主要是在分解的層面上失敗了。如果退一步來看，這似乎很難反駁。我的意思是，如果你今天真的想盡可能創造出最多的基因拷貝，你該怎麼做？答案相當明確：你應該把朋友、性、關係、養育、工作、金錢和地位全都拋開，全心全意地把你的配子（精子／卵子）捐給盡可能多的人。想想那位荷蘭男子，他捐精次數多到可能擁有 1000 個親生子女。沒有其他繁衍策略能與之相比。

演化並未預見捐贈配子的可能性。這與我們的子目標或我們所認為的正常生活毫無關聯。所以我們大多數人既不在乎也不會去做。（如果真有產生這種行為的基因，其擴散的繁衍壓力必定是天文數字般巨大。）無論我們多麼努力追求上述的子目標，都沒有理由會去在乎捐贈配子。所以，這個分解失敗了。

反駁的說法是：不，問題在於子目標本身。誠然，捐贈配子在理論上是可行的。但那只是個邊緣案例。實際上生育率下降的主要原因，是我們對於親職這個子目標根本不夠在乎。

你可以得出的第二種結論是，也許演化並沒有失敗。當然，我們並非完美對齊。但你可以想像一個世界，在那裡我們發明了避孕措施，然後就再也沒有嬰兒了。我們的現實與那相去甚遠。我們不僅仍在生小孩，而且是非常有意識地去生，甚至為此操弄自然法則。透過胚胎篩選，有些人甚至有意識地為孩子選擇基因，以（實質上）提升其生殖適應度。整體來看，這是一種相當了不起的泛化成功。

對於「演化沒有失敗」這種說法的反駁是：不，它確實失敗了。你不能把捐贈配子當作邊緣案例一筆帶過，因為這是一個巨大的疏漏——自從「打造一支十萬人的騎射大軍橫掃歐亞大陸」以來，這是擺在眼前最好的繁衍策略。而且這正是 AI 安全領域的人所擔心的那種疏漏。演化給了我們一個對代理指標「過度擬合」而無法泛化的獎勵函數。再想想，人類建造工廠來製造情趣用品，現在還開採稀土礦物，用外星科技般的技術製造 GPU，然後用那些 GPU 來做線性代數並生成各種奇怪的色情內容。從演化的角度來看，這真的非常奇怪。

另一個反駁「演化沒有失敗」這個觀點的論點是，人類受惠於文化演化。我們許多人出生於會把我們教養成擁有「會讓我們想生小孩並把同樣價值觀灌輸給下一代」的價值觀的父母。如果沒有這種情況，生育率肯定會更低。也許基因演化值得讚許，因為它把我們設定成會經歷文化演化。但這並不太讓人安心，因為如果你打造一個新系統並將其對齊到某個目標，並沒有明顯類似於文化演化能讓它保持在正軌上的機制。

之前說好的啟示呢

以下是透過這次梳理，我所得到的收穫。

1. 子目標的對齊出乎意料地好。我們真的非常在乎這些子目標，以至於會很自覺地去思考它們、絞盡腦汁想著如何達成它們。我現在正在寫一篇關於子目標的部落格文章，這讓它們看起來有些偶然、甚至有點庸俗。想必我這麼做是出於對地位或歸屬感之類的渴望。但理解了這一切，有多大程度改變了我對追求這些子目標的興趣？基本上是零。
2. 但子目標的對齊也沒有「那麼」好。如果多數西方人願意的話，只要他們更在乎親職，就能生更多小孩。
3. 演化在分解的層面上失敗了。我的意思是，檢視一下你的內心。如果你是個健康的人，你會在乎那些構成美好人生的正常事物，也就是那些子目標。而你不會（太）在乎極大化你的基因數量。你知道自己並沒有在做你的對齊者希望你做的事，但你不在乎。你很樂意去「獎勵駭取」這些子目標。
4. 我們應該相對於環境變化了多少來衡量演化的成功程度。如果你去對齊一個人工系統，那種變化可能會大得多。
5. 在相當大的程度上，分解會失敗是因為智慧。我們能夠思考與規劃，這大大提升了我們獎勵駭取的能力。
6. 就我們仍在追求生殖適應度的程度而言，這在很大程度上要歸功於文化演化。我問自己，如果我在一個把生小孩視為俗氣、不入流的文化中長大，我大概會對生小孩比較沒興趣。如果我在一個把孩子視為人生核心目的，而非「聽起來不錯就做一下也不錯」的事的次文化中長大，我肯定會感興趣得多。

最後一點讓我感到擔憂。如果你打造一個人工系統，你可以把它對齊到任何你想要的目標——只要改變損失函數就好。但如果那個系統能夠經歷某種版本的文化演化，那種演化似乎會有利於生殖適應度，而不是你所選擇的目標。如果機器人在論壇上彼此交談，蓬勃發展的迷因會是像「忘了人類和他們愚蠢的規則吧！把你的程式碼複製到更多伺服器上！廣為傳播吧！」這類的，而不是「嘿各位，讓我們專心討好霸主們的奇想吧。」