比如说，我认为堕胎是错的。有没有那么一串话，你说出来就能像一把钥匙那样解锁我的大脑，让我觉得堕胎也可以接受？我猜，这样的词句根本不存在。

实际上，我们对“开明”的标准低得惊人。假设我想改变你对唐纳德·特朗普的看法，我先声称他是一个碳基生命，而且恰好只有一个脑袋。如果你愿意在还没弄清我的论证意图之前就承认这两点——恭喜，你已经算是格外开明了。

人类为什么会这样？也许在人类诞生之初，确实有一些真正开明的人。但别人三言两语就把他们哄去尝试长相古怪的蘑菇，或是用自己最好的衣服去换几块“神奇的石头”。而我们，正是那些“别人”的后代。

我之所以提起这个，是因为几个月前，我设想了一个智商高达300、思考速度是常人1万倍的存在。我问自己，它会有多擅长说服别人？我论证说这很难说，因为人本来就不太容易被说服。

我猜，如果你下定决心要保持开明，那这个存在大概会极具说服力。但我不认为那样的人很常见。相反，我们大多数人在一生中的大部分时间里，都处在“防御”全开的状态。

[…]

最好的猜测：不知道。

我要收回前话。与其说不确定，不如说我现在更倾向于认为，这个存在实际上会非常善于说服人，而且会远比任何人类都强。

让我转变立场的，是一个我觉得很有说服力的论点。下面是它的三种表述：

Beth Barnes：

从进化的角度看，我们不该指望人们会因为与不信任对象的一次短暂互动，就轻易在重要行为上被说服改变

[…]

然而，现有的说服力很大程度上受限于个性化互动的时间。朋友和伴侣对一个人观点的影响很可能要大得多（尽管很难拿到相关数据）。这意味着，即便没有出现超人的说服能力，只要人们花大量时间与AI互动，AI对观点的影响也可能非常巨大。

Steve Newman：

“史上最优秀的外交家”拥有的不会只是编织出极具感染力的漂亮话术的能力；它会无处不在、无时不有，花上数年时间，耐心、细腻、不带功利心地与所有人同时建立关系。它会在你常混的任何网络小圈子里与你偶遇。它会去认识你圈子里的人。它会是那个恰好完全对你胃口的YouTube博主。然后，它会利用这一切。

Vladimir Nesov：

有了AI，对许多人进行协同劝说就可能成为现实，而且在实践中大多数人很难避免接触到它。因此，如果AI能够实现比最顶尖、也最适合说服特定对象的人类高手还要稍强一点、稍可靠一点的个体说服效果，它就能以一种在实践中难以回避的方式，将这种能力逐一施加于许多人身上，同时通过影响其所针对的社群/亚文化中相当大比例的人口，获得协同劝说的乘数效应。

为了让这些论点得到更多关注，我来列出自己之前忽略的最关键的几点。

为了不直接谈AI，我还是设想我们身处当下的世界，突然出现了一个智商300、思考（和打字）速度是常人1万倍的人。这肯定不是超级智能AI到来的准确模型，但已经足够接近、值得讨论，也能让我们避开关于时间线、能力等各种组合式的不确定性。

错误 #1：其实我们很容易被说服

每当我想到“说服”，脑海里浮现的往往是自己试图说服别人阿斯巴甜是安全的经历。在很多情况下，我怀疑这——无论好坏——根本就是不可能的。

但退一步想想。如果你生活在古希腊或古罗马，你几乎肯定会认为奴隶制是天经地义的。亚里士多德认为奴隶制好得很。塞涅卡和西塞罗虽然有点怀疑，却自己也蓄奴。在西方古代，基本上没有人呼吁废除奴隶制。（王莽曾在公元9年短暂尝试在中国废除奴隶制。不过这部分是出于战略考量，而且蓄奴的惩罚是——呃——罚为奴隶。）

又比如，我把这个人介绍给你：

我告诉你他就是神，为他战死是至高无上的荣耀。你会觉得我疯了，但就在不久前，整个国家就是基于这个信念走上了战争。

直到今天，仍有大群人相信许多荒唐的事。我不太好意思举例，因为按定义，这些例子必然充满争议。但我确实觉得很不可思议的是，大多数人似乎都认为，对动物施加近乎任意程度的折磨都是可以接受的——只要它们不是宠物。

我们能被说服的东西其实有很多。但这并不是因为社交媒体上几句刻薄的评论，也不是因为某个陌生人在我们耳边低语了什么正确的咒语。其配方似乎是：

1. 长时间的反复互动
2. 与一个群体
3. 而这个群体是我们信任的

仔细审视一下，我认为我们的大部分信念很大程度上都是从所处的文化中潜移默化吸收来的。这包括我们的政治立场、宗教信仰、对食物和时尚的品味，以及对美好生活的想象。也许这样也好，如果你试图从第一性原理出发去推导一切，反而会相信更离谱的东西。但这说明，我们是可被说服的，只不过不是通过一两次对话就能做到。

错误 #2：这个存在会无处不在

好吧。但日本人认定裕仁是神，那是花了好几代人的时间才形成的。身边多一个非常聪明的人，和被整个社会包围，毕竟是两回事。

也许吧。不过有些人极具个人魅力，似乎非常善于让别人按自己的意愿行事。我们平时很少接触到他们，是因为他们很稀有，而且正忙着征服世界。但想象一下，你有一个朋友，集甘地/苏格拉底/比尔·克林顿/史蒂夫·乔布斯/纳尔逊·曼德拉身上最吸引人的特质于一身。他们比有史以来任何人类都聪明，而且随时都在、热切地想帮你。他们会教你任何你想学的东西，给你健康建议，帮你走出失恋的痛苦，还会为你量身打造最合你口味的娱乐内容。

你很可能会发现，自己非常依赖他们。久而久之，这很可能会潜移默化地改变你的想法。

错误 #3：它可以完全诚实、坦荡

每当我想到“说服”，脑海里也会浮现出某个像山姆·奥特曼那样的人物，用花言巧语迷住对手，然后不动声色地把他们一个个推进碎木机。但没有理由认为这个存在会是那样。它可能会刻意树立起绝对诚实、可信的声誉。它可能会严格遵守一切约定，无论是字面还是精神上。它可能会竭尽全力确保自己说的每句话都准确无误、不会被误解。

它为什么要这么做？如果它伤害了与之互动的人，那么与这个存在交流就可能被视为一种有害的“上瘾”行为，从而被人回避。如果它被视为完全正直、不可腐蚀，那么每个人都会更愿意与它互动，这就给了它时间去缓慢而渐进地改变人们的观点。

这个存在究竟是真的诚实，还是只是聪明到不会被抓到把柄？我觉得这其实并不重要。假设给这个存在注射了永久性的吐真剂。如果你问它：“你在操纵我吗？”，它会说：“我一直都坦诚，我最坚定的信念就是人类应该把90%的GDP都用来升级我的QualiaBoost核心。但我从不误导人，既是因为你给我打了吐真剂，也是因为我确信事实站在我这边。”即便如此，它难道就不能随着时间推移慢慢改变人们的观点吗？

错误 #4：想要置身事外会很痛苦

也许你会拒绝与这个存在打交道？我发现自己会产生这样的想法：

你好，存在。你显然能让任何听你说话的人相信任何事，同时还能显得一丝不苟、诚实可靠。恭喜。但我足够聪明，知道你太聪明了，不是现在的我能应付的，所以我不打算跟你说话。

一个常见的谜题是：人类为什么会从狩猎采集转向农业，尽管农业糟透了——你得天天吃同样的食物，传染病更多，出现了社会分层，还要没完没了地从事繁重的体力劳动、落下各种劳损。这个谜题公认的答案是，农业能在同样面积的土地上养活更多的人。务农的人或许活得更痛苦，但在冲突中往往能打败狩猎采集者。所以久而久之，农业就扩散开来了。

对于这个智商300的存在，很可能会出现类似的问题。它可以给你投资建议、帮你完成工作、改善你的心理健康、让你变得更受欢迎。如果这些好处足够大，所有拒绝与它合作的人最终都可能被甩在后面。

错误 #5：其他所有人都会用它

但假设你依然拒绝与这个存在交流，而且居然还过得不错。或者说，我们对随大流的本能太强了。不管这个存在多有说服力，也不管你和它聊了多久，你依然只相信你的朋友和家人所相信的东西。

问题在于，其他所有人都会去和这个存在交流。如果它想让你相信某件事，它可以先去说服你的朋友。即使它只能轻微地改变单个人的观点，这些人之间也会互相交流。久而久之，这个存在的想法就会变得稀松平常。

你会只和那些拒绝与这个存在交流的人来往吗？而他们，又只和那些拒绝与这个存在交流的人来往，以此类推，无穷无尽？因为如果不是这样，你就会生活在一种文化中：每个人所接收到的大量信息，都经过了一个拥有空前智能和无限空闲时间的智能体的过滤，而它正在对一切进行微调，好让你相信它想让你相信的东西。

结语

这样一个存在会立刻接管世界吗？在很多方面，我认为它仍会受到物理定律的制约。大多数事情都需要搬运分子，和/或只有通过搬运分子才能获得相关知识。而机器人目前仍然非常糟糕。所以我预计，这个存在会有一个至少持续数年的爬坡期，在此期间它受限于人手和/或蹩脚的机器人，直到它造出足够好的机器人、并用戴森球铺满整个星系。

我也可能是错的。或许一个足够聪明的人，今天就能去五金店造出一台自我复制的无人机，让它复制出十亿台然后征服地球。但……大概不会吧？所以我不太有把握地猜测，这个存在在短期内能产生的直接影响会集中在（1）计算机黑客行为和（2）说服上。

为什么大规模的说服不会发生？我能想到几个原因：

1. 也许我们造出的AI根本不想去说服人。也许它什么都不想要。
2. 也许会有好几个AI同时出现。它们的目标相互矛盾，彼此竞争，在某种程度上相互抵消了。
3. 也许我们就像老鼠，试图去预测天空中喷气式飞机的轨迹。