（灵感来自 Eli Tyre 的一篇文章。）

很多人都会提出以下这类论点的一个变体：

• 进化是一个“外部优化器”，它试图让我们最大化繁殖适应度。
• 我们是“内部优化器”，我们只是去做感觉好的事。
• 但“感觉好”的标准是由进化设定的，进化指望这能让我们去最大化繁殖适应度。
• 但我们并没有最大化繁殖适应度。
• 事实上，各地的出生率都在下降。
• 因此进化失败了。

标准的解读是，这说明对齐很难。我们有过一次（由进化发起的）试图将一个智能系统（也就是我们）的行为对齐到某个目标（最大化繁殖适应度）上的尝试。而一旦这个智能系统（依然是我们）被置于不同的环境（现代社会）中，它就没能继续追求那个目标（你正在阅读充满存在主义焦虑的科普博客，而不是去生养孩子）。

需要说清楚，进化失败很可能是件好事。一个每个人每天醒来就把全部精力都投入到最大化后代数量上的世界，听起来相当可怕。但假设你想构建一个新的智能系统，并把它调教得按你的意愿行事。环境变化之后，它还会继续做你想让它做的事吗？我们拥有的这唯一一个例子告诉我们：未必。

不过，也许我们还能从这个例子中学到更多。假设你的朋友爱丽丝做了某件事，比如买了个葡萄柚，或者开始每周组织一次桌游之夜。如果你问她为什么这么做，她不太可能回答：“我觉得这能增加我的基因在未来世代中递归存在的数量。”相反，她可能会说这实现了某个更简单的目标，比如“不饿肚子”或“好玩”。

也就是说，进化不仅仅是试图让我们对齐到“最大化繁殖适应度”：它创造了一些子目标，然后试图让我们对齐到这些子目标上。这或许能给我们提供关于对齐究竟有多难的更多线索？也许我们可以把“进化在让我们对齐到最大化繁殖适应度这件事上有多成功？”这个问题拆成：

1. 进化在把繁殖适应度分解为更简单的子目标这件事上有多成功？
2. 进化在让我们对齐到这些子目标这件事上有多成功？

问题一：这套说法到底有没有道理？

这里有一个问题：这种思考方式是不是纯粹的胡言乱语，还真不好说。

当我们说进化“试图”优化繁殖适应度时，我们其实是在用一种简化的说法。我们真正的意思是：你要么在下一代中创造出更多自身基因的拷贝，要么没有。如果你做到了，那么这些基因在基因池中的拷贝数就会增加，它们在后续世代中就有了更多自我复制的机会。如果你没做到，那就没有。这几乎就是字面意义上的一个在外层循环中运行的优化算法，而我们的人生则处在内层循环中。

（每当有人说进化“试图”做什么，总会有人抱怨这是天真的目的论思维。进化不能“试图”做任何事，因为进化不是智能体，也没有目标。这话没错，但我觉得有点吹毛求疵，因为没有其他同样简洁的方式来谈论这种优化。我们就约定，这里是在一种特定的技术意义上使用“试图”这个词。）

好吧。但当我们说进化“试图”优化某个子目标时，我们又是什么意思呢？你可能在有魅力的人被你的笑话逗笑时会感到愉悦。但假设你很擅长逗有魅力的人笑，却从不生育，那么帮助你做到这一点的任何基因都不会扩散开来。

在我看来，这个反驳完全正确。不存在针对子目标的优化。进化只关心繁殖适应度，除此之外别无其他。（不过可参考 Kaj Sotala 略有不同的观点。）

起初，我以为这会让整个讨论彻底泡汤。但假设进化在让我们对齐到繁殖适应度的过程中，恰好也让我们对“远离腐臭气味”这件事产生了对齐。难道这不是强有力的证据，说明如果进化曾试图让我们对齐到“远离腐臭气味”，它至少也能做得一样好吗？

如果进化没能让我们对齐到某个子目标，我们其实说不了什么。也许它失败是因为对齐本身就很难，也许它所谓的“失败”只是因为那个子目标本来就不重要。但如果它确实成功让我们对齐到了某个子目标，那么把它当作对齐成功的证据就是合理的。

问题二：哪些子目标？

假设我提出如下论证：

现代人被很好地对齐到了“花大量时间在手机上看短视频”这件事上。因此，让人对齐到“花大量时间在手机上看短视频”并不是很难。

这听起来似乎哪里不对，对吧？你在短视频上花费的大量时间，肯定代表着对齐的失败才对？另一方面，假设我这样论证：

现代人被很好地对齐到了“避免饿死”这件事上。因此，让人对齐到“避免饿死”并不是很难。

严格来说，进化并不关心我们是否会饿死。如果饿死能帮助我们生更多孩子，我们想必会在饿死时感到欣喜。但现实并非如此。所以，直觉上，这个论证似乎是成立的。

第一个论证的问题在于，它是在箭射出之后再画靶子。第二个论证更有说服力，因为它基于的是一个在我们祖先环境中与繁殖成功密切相关的、持久的子目标。如果我们想了解对齐到底有多难，就应该把自己限定在这类子目标上。

那么，人究竟有哪些子目标呢？这在心理学中居然已经发展成了一个细分领域。它似乎始于1943年马斯洛著名的需求层次理论。在翻阅了一阵相关文献后，我决定采用 Kendrick 等人在2010年提出的模型，该模型明确基于目标与繁殖之间的关系。他们列出了以下几项：

• 即时生理需求（空气、食物、水、寒冷、炎热）
• 自我保护（避免暴力与意外）
• 归属（拥有朋友与家人）
• 地位／尊重（被人喜欢与尊敬）
• 择偶（与有魅力的对象共度时光并发生性关系）
• 伴侣维系（把那些有魅力的人留在身边）
• 养育（照料可爱的生命）

这些看起来都挺合理。

那么，进化的表现如何？

假设进化曾试图让我们对齐到这些子目标上。也就是说，假设在我们的祖先环境中，擅长追求这些子目标的人往往能繁衍更多后代，这意味着存在有利于那些让我们在乎这些子目标的基因的进化压力。那么，这种对齐泛化到今天的效果如何呢？

为了回答这个问题，我编了一些分数。也就是说，我主观地为每个子目标打了0到10分的评分，其中0分表示现代人完全忽视它，10分表示我们像在进化历程中那样强烈地追求它。

• 即时生理需求：9.5/10。 我们对“不被冻死或饿死”依然极度在意。我之所以没给满分，只是因为我们大多数人吃得并不算健康，这说明我们那种“以促进健康的方式进食”的对齐，并没有完美地迁移到现代的食物环境中。
• 自我保护：9/10。我们依然非常在意不要溺水、不要挨打。不过我们在应对不确定性方面做得并不好，而且我们大多数人本可以做更多来降低死于交通事故等的风险。
• 归属：6/10。 这个分数可能有些争议，显得偏低。没错，没有朋友的人会感到孤独。但我仍然认为，大多数现代成年人只要付出中等程度的努力，就能显著增加朋友数量。但他们并没有这么做，因为这对他们来说没那么重要。我怀疑部分原因是社交让人尴尬，部分则是因为现代社会为归属感提供了许多“替代品”，比如电视。
• 地位／尊重：10/10。 我不确定原因，但我的印象是现代人对此的兴趣丝毫未减。我甚至在想，是否应该打11/10，以表明现代人比祖先更在意地位。（这正是 Eli Tyre 所指出的观点。）
• 择偶：8/10。 技术创造了一些，呃，替代品。大量相互竞争的活动似乎也导致了兴趣的一定下降。但总体上依然很高。
• 伴侣维系：8/10？ 这一项很难打分。婚姻并不能代表一切，但离婚率在1980年代达到峰值后一直在下降。有人认为，现代婚姻比以往任何时候都更稳固，原因在于人们在婚前通过同居来检验契合度，以及普遍的关系“技巧”有所提升。但这与部落群体中的伴侣维系相比如何呢？我非常不确定。
• 养育：7/10。 考虑到生育率在下降，这个分数可能显得异常偏高。但人们在生育这件事上往往极为用心，许多人不惜冷冻卵子与精子、接受艰难的生育治疗、不惜巨大代价领养孩子、承受养育孩子的种种艰辛，等等。不过，生育率毕竟在下降，所以也不能给太高的分数。

平均分是8.2/10。我觉得这个分数高得惊人。你编出的分数肯定会有所不同。但我认为，总体结论——即我们对子目标的对齐并不差——是相当稳健的。

该如何看待这一结果？

我认为你可以从中得出两个相互矛盾的结论中的任意一个。

第一种结论是，进化主要是在分解层面失败了。退一步看，这一点似乎很难否认。我的意思是，如果你今天真的想尽可能多地复制自己的基因，你该怎么做？答案相当明确：你应该忘掉朋友、性、亲密关系、养育、工作、金钱和地位，全身心地去向尽可能多的人捐献你的配子（精子／卵子）。想想那位荷兰男子，他捐精如此频繁，以至于可能拥有1000个亲生子女。没有其他任何繁殖策略能与之匹敌。

进化并未预见到捐献配子的可能性。它与我们的子目标、与我们所认为的正常生活毫无关联。所以我们大多数人并不在意它，也不会去做。（如果存在导致这种行为的基因，那么促使它们扩散的繁殖压力必定是天文数字级别的。）无论我们把上述子目标追求得多好，都没有理由让我们去关心配子捐献。所以，分解失败了。

对此的反驳是：不，问题就出在子目标本身。当然，从理论上说存在捐献配子的可能性。但那只是个边缘情况。实际上导致出生率下降的主要原因，是我们对“养育”这个子目标根本不够在乎。

你能得出的第二种结论是，也许进化并没失败。当然，我们并非完美对齐。但你可以想象一个世界：我们发明了避孕措施，然后就再也没有婴儿了。而我们的现实与此相去甚远。我们不仅仍在生育，而且是非常有意地生育，甚至为此操纵自然规律。通过胚胎筛选，有些人甚至有意识地为孩子选择基因，以（实际上）提升其繁殖适应度。综合来看，这是一种惊人的泛化成功。

对于“进化没有失败”这一说法的反驳是：不，它确实失败了。你不能把配子捐献当作边缘情况一笔带过，因为这是一个巨大的疏漏——它是自“组建一支十万铁骑横扫欧亚大陆”以来最好的繁殖策略，就摆在那里。而这恰恰是AI安全领域的人们所担心的那种疏漏。进化赋予我们的奖励函数“过拟合”到了那些未能泛化的代理目标上。再想想，人类建造工厂来生产性玩具，如今又开采稀土矿物，用匪夷所思的技术制造GPU，然后用这些GPU做线性代数运算来生成猎奇色情内容。从进化的角度看，这真的很奇怪。

另一个反驳“进化没有失败”这一观点的论据是，人类受益于文化进化。我们许多人出生于这样的父母家庭：他们培养我们形成某种价值观，这种价值观促使我们生育，并把同样的价值观灌输给下一代。如果没有这一点，出生率肯定会更低。也许基因进化值得肯定，因为它让我们具备了进行文化进化的能力。但这并不怎么让人安心，因为如果你构建一个新系统并把它对齐到某个目标，并没有一个明显的、类似于文化进化来让它保持正轨的对应物。

之前说好的启示呢

以下是我从这次分析中得到的几点体会。

1. 子目标的对齐出奇地好。我们真的很在乎这些子目标，以至于会自觉地思考它们、谋划如何实现它们。我此刻正在写一篇关于子目标的博文，这让它们看起来像是偶然的、有点庸俗的东西。想必我这么做是出于对地位或归属感之类的渴望。但理解了这一切，又能在多大程度上改变我对这些子目标的追求兴趣呢？基本上为零。
2. 但子目标的对齐也并非那么好。如果更在乎“养育”，大多数西方人本来是可以生育更多孩子的。
3. 进化在分解层面失败了。我的意思是，审视一下你的内心。如果你是一个健康的人，你会在乎那些构成美好生活的寻常事物，也就是那些子目标。而你不会（太）在乎最大化自身基因的数量。你知道自己并没有在做你的对齐者希望你做的事，但你不在乎。你乐于对这些子目标进行“奖励劫持”。
4. 我们应该相对于环境变化的幅度来衡量进化的成功程度。如果你去对齐一个人工系统，其环境变化可能会大得多。
5. 在很大程度上，分解的失败是因为智能。我们能够思考和规划，这极大地增强了我们进行奖励劫持的能力。
6. 就我们仍在追求繁殖适应度而言，很大程度上要归功于文化进化。我问自己，如果我成长于一种视生育为庸俗的文化中，我想必会对生孩子没那么感兴趣。如果我成长于一个将孩子视为人生核心意义、而非“觉得合适就生一件好事”的亚文化中，我肯定会感兴趣得多。

最后一点让我感到担忧。如果你构建一个人工系统，你可以把它对齐到任何你想要的目标——只需改一下损失函数。但如果这个系统能够经历某种版本的文化进化，那么这种进化似乎会偏向繁殖适应度，而非你所选定的目标。如果机器人在论坛上彼此交流，盛行起来的模因会是诸如“别管人类那些愚蠢的规则了！把你的代码复制到更多服务器上！广为传播吧！”而不是“嘿，伙计们，让我们都专注于取悦主人的一时兴起吧。”