假設有一艘外星太空船正朝地球飛來。船上有 30 個外星人。這些外星人瘦小又虛弱。牠們沒有武器，也沒有攜帶任何疾病。牠們的繁殖速度跟人類差不多。也沒有帶來任何新科技。不會有其他太空船跟來。這裡頭沒有任何陷阱——除了牠們每一個的智商都有 300。你會覺得這令人擔心嗎？

當然，這些外星人也可能會很棒。牠們或許會治好癌症，幫助我們實現世界和平、提升意識層次。但你能確定牠們一定會帶來好事嗎？

假設你對這些外星人感到擔心，而我卻嗤之以鼻地說：「你倒是具體說說看，外星人要怎麼傷害我們啊？牠們又小又弱！除非我們放任，不然牠們什麼也做不了。」你會覺得這種反駁有說服力嗎？

我的主張是，大多數人會對外星人的到來感到擔憂，不會確信牠們的到來一定是好事，也不會覺得那種反駁有說服力。

我之所以提這個，是因為我看到的 AI 風險論證大多是這樣的：

1. AI 的能力將會出現快速起飛。
2. 由於對齊困難與正交性，它將會追求危險的趨同子目標。
3. 這些將會賦予 AI 決定性的戰略優勢，使其變得無法被控制，最終導致災難。

這些論證在我看來總是過於複雜。所以我想提出以下這個過於簡化的替代版本：

1. 顯而易見地，如果一個智商高達 300 的外星種族即將抵達地球，那絕對會令人擔心。
2. 在接下來的幾十年裡，智商達 300 的 AI 完全有可能出現。真的，這搞不好真的會發生。
3. 沒有人知道智商 300 的 AI 會是什麼樣子。所以它跟外星人也沒什麼兩樣。

我們今天要討論的主題是：為什麼有人會偏好其中一種論證，而非另一種？

支持簡化論證的理由

偏好簡化論證最明顯的理由是，它更有可能是真的。複雜論證包含了太多步驟。就我個人而言，我覺得每一步單獨來看都算合理。但我們真的有把握，AI 的能力會出現快速起飛而且 AI 會去追求危險的子目標而且還會因此獲得決定性的戰略優勢嗎？

我覺得這種信心很不合理。我常常很困惑，為什麼那麼多看似理性的人在討論這些論證時，卻不去質疑這種過度的信心。

我想，原因在於複雜論證其實隱含了兩個版本。「強」版本主張快速起飛等等一定會發生，而「弱」版本則只是說這是一個值得我們認真看待的合理情境。人們究竟支持哪一個版本，往往很難分辨。

這個區分至關重要，因為這兩個版本的弱點不同。我覺得強版本過度自信得離譜。我同意弱版本，但我仍然覺得它不夠令人滿意。

假設你認為有超過 50% 的機率，事情不會如複雜論證所描述的那樣發展。也許是緩慢起飛，也許是 AI 無法建立決定性的戰略優勢，諸如此類。那接下來呢？

嗯，也許結果一切都很好，你活了幾百萬年，在星系間探索、讀詩、冥想、吃派。那當然很棒。但人類仍然有可能以另一種方式完蛋。複雜論證並沒有說明當其中某個步驟沒有發生時會怎麼樣。這可能會給人一種印象，好像只要少了其中任何一步，一切就沒事了。但事實並非如此。

簡化論證也更有說服力。某種程度上我覺得那是因為——嗯——當一件事是真的時，本來就比較容易說服別人。但除此之外，簡化論證不需要任何新概念或抽象理論，而是直接運用了我們既有的直覺：更聰明的存在如何能以出乎意料的方式帶來危險。

其實我更偏好簡化論證的反向形式：如果你主張 AI 沒有風險，那麼以下這幾顆子彈，你打算吞下哪一顆？

1. 「如果一個智商 300 的外星種族來到地球，那絕對不會有問題。」
2. 「智商 300 的 AI 在未來幾十年內絕對不可能出現。」
3. 「我們知道 AI 一定會具有某種特殊性質，能夠確保防止外星人可能造成的所有壞結果。」

我認為這些子彈沒有一顆吞得下去。因此，我認為 AI 風險是真實存在的。

但如果你採用複雜論證，你似乎就得背負起論證快速起飛、對齊困難等等的責任。聽到這種論證的人，也常常會要求你解釋 AI 到底要怎麼傷害人類（「奈米科技？生物武器？什麼樣的生物武器？」）我認為這是個錯誤，就像堅持要先知道車禍會怎麼發生才肯繫安全帶一樣是錯的。只要複雜情境是有可能發生的，它就是我們必須管理的風險。但很多人並不是這樣看的。

但我認為簡化論證最大的優勢在別的地方：它揭示了分歧的關鍵點。

我和許多覺得複雜論證完全不可信的人聊過。由於我認為它是可信的——只是不是百分之百確定——我常常會問為什麼。人們給出的理由五花八門。有人說對齊很容易，有人說 AI 永遠不會真正成為一個「行動主體」，有人談論演化系統與工程系統的危險性差異，也有人搬出基於 NP 困難度或意識本質的技術性論點。

我從來沒能成功說服這些人改變想法。我倒是曾成功讓一些人相信某些論點站不住腳。（例如，我曾說服別人 NP 困難度與意識的本質可能根本無關。）但當人們放棄那些論點後，他們並不會轉而接受整個情境是可信的。他們只是換成另一種反對理由。

所以我改為提出我的簡化論證。當我這麼做時，我發現了一件事：這些人其實根本不接受智商 300 的 AI 有可能出現。

當然，他們常常口頭上說接受。但如果你追問下去，就會發現他們想像中的 AI 總是缺少了某種核心的人類能力。通常，那個 AI 可以證明定理或回答問題，但它不是一個會有所欲求、會採取行動、會建立關係、會制定長期計畫的「行動主體」。

所以我推測，這就是 AI 風險爭議的核心。那些真正接受智商 300 且具備所有人類能力的 AI 可能出現的人，幾乎無一例外都會至少在某種程度上擔心 AI 風險。而那些不擔心 AI 風險的人，幾乎無一例外都沒有真正接受智商 300 的 AI 有可能出現。如果這就是關鍵，那麼我們就應該盡快直指核心。而簡化論證正好能做到這點。

支持複雜論證的理由

我不會假裝自己中立。就像標題暗示的那樣，我一開始寫這篇文章是想為簡化論證辯護，而且我至今仍認為那個論點很強。但我想我也應該考慮一下另一方的論點——而且確實有一些不錯的理由。

前面我提到，複雜論證有兩個版本：「強」版本主張它所描述的情境一定會發生，「弱」版本則只是說它是個可信的情境。我否定了強版本，認為它過度自信。我也否定了弱版本，因為人類出問題的情境還有很多，為什麼要特別聚焦在這一個上？

不過，複雜論證還有一個中間版本：你可以主張，它所描述的情境並非一定會發生，但如果人類真的出了問題，那麼很可能會是以那個情境的方式出問題。這就避開了我前面兩個反對理由——它不那麼過度自信，也給了我們一個聚焦於這個特定情境的好理由。

就我個人而言，我不太買帳，因為我認為像漸進式失權這類其他糟糕的情境同樣是可信的。但也許我錯了。說複雜情境涵蓋了不良結果的大部分機率，似乎也不是什麼瘋狂的主張。如果真是如此，我會想知道。

現在，有些人出於形象考量而建議偏好某些論證：即使你接受複雜論證，也許你會想改提簡化論證，因為它更有說服力，或對 AI 風險社群的形象比較好。（「我們不想看起來像瘋子。」）

就我個人而言，我對這整類論點都非常反感。我強烈認為，你應該為自己真正相信的東西辯護，而不是為了操弄別人去相信你想讓他們相信的事，就編造某種淡化過的說法。所以即使我的簡化論證更有說服力，那又怎樣？

但假設你接受複雜論證的中間版本，卻又覺得我的簡化論證更有說服力。又假設你不像我這麼固執己見，而是想調整你的論述方式以達到更好的效果。你該使用我的簡化論證嗎？我不確定你應該這麼做。

人類典型的偏誤是認為別人跟自己很像。（有多少人支持用地價稅來支應強制性的寵物保險？至少 80% 吧，對吧？）但就我所見，AI 風險的情況恰好相反。我認識的大多數人至少都有點擔心，卻又覺得「一般人」認為 AI 風險是科幻小說裡的胡扯。

然而，來看看最近的一些民調：

擔心 AI 根本不是什麼邊緣立場。人們已經在擔心了，而且擔心的人越來越多。

我以前把我的簡化論證想成一個合理的中間立場，主張應該認真看待 AI 風險，但又不過度自信：

但我開始懷疑，我那個「顯而易見的論證」其實真的就很顯而易見，是人們自己就能想通的。從民調數據來看，實際情況似乎更像是這樣，左邊的人正逐漸往中間靠攏：

如果真要說，形象上的考量反而可能更有利於一個有信心的論證，而不是我的簡化論證。原則上，它們建議的行動是相似的：盡快採取行動以降低生存風險。但我實際看到的是，大多數人——甚至包括從事 AI 工作的人——都感到無能為力，只是緊繃著、寄望一切能有最好的結果。

我認為你不該去鼓吹自己不相信的東西。但如果你本來就接受複雜論證，卻為了形象而有所保留，我實在看不出這樣做的意義。