地球に向かう宇宙船があるとしよう。中には30人のエイリアンが乗っている。彼らは弱くて小さい。武器は持っておらず、病原体も持っていない。繁殖スピードは人間と同程度だ。新しいテクノロジーも持ってきていない。他に船が来る予定もない。何のトリックもない――ただ、彼らのIQが全員300だということを除けば。あなたはそれを不安に思うだろうか？

もちろん、エイリアンは素晴らしい存在かもしれない。がんを治し、世界平和やより高次の意識へと私たちを導いてくれるかもしれない。だが、彼らが素晴らしいと断言できるだろうか？

あなたがエイリアンを心配しているとして、私が鼻で笑ってこう言ったとしよう。「具体的にエイリアンがどうやって私たちを傷つけるっていうんだ。彼らは小さくて非力じゃないか！私たちが許さなければ何もできないよ」。この反論に説得力があると思うだろうか？

私はこう主張したい。ほとんどの人はエイリアンの到来を不安に思うはずだし、その到来が良いものだと確信はしないはずだし、その反論を説得力があるとは思わないはずだ、と。

この話を持ち出したのは、私が目にするAIリスクの議論のほとんどが、だいたい次のようなものだからだ。

1. AIの能力が急激なテイクオフを起こす。
2. アラインメントの困難さと直交性により、危険な収束的サブゴールを追求するようになる。
3. それらによってAIは決定的な戦略的優位を得て、封じ込め不可能になり、破局に至る。

これらの議論はずっと複雑すぎると感じてきた。そこで、代わりにもっとシンプルすぎるくらいの案を出してみたい。

1. 言うまでもなく、IQ300のエイリアン種族が近いうちに地球にやって来るとなれば、それは懸念すべきことだ。
2. 今後数十年のうちに、IQ300のAIが出現する可能性は十分にある。本当に、実際に起こるかもしれないのだ。
3. IQ300のAIがどんなものになるかは誰にもわからない。だから、それはエイリアンも同然だ。

今日のテーマはこうだ。なぜ人は、一方の議論を他方より好むのだろうか？

シンプルな議論を支持する理由

シンプルな議論を好む明白な理由は、その方が真実である可能性が高いからだ。複雑な議論はステップが多い。個人的には、それぞれはどれももっともらしいと思う。だが、AIの能力の急激なテイクオフが起こり、かつAIが危険なサブゴールを追求し、かつそれによって決定的な戦略的優位を得る、と本当に確信できるだろうか？

私はそのような確信は不合理だと思う。なぜ一見まともな多くの人が、その確信を退けずにこれらの議論を交わすのか、ずっと不思議に思ってきた。

説明はこうだと思う。複雑な議論には暗黙のうちに二つのバージョンがある。「強い」バージョンは、急激なテイクオフなどが必ず起こると主張し、「弱い」バージョンは、単にそれが真剣に考えるべきもっともらしいシナリオだと主張するだけだ。どちらのバージョンを支持しているのかは、しばしば判別が難しい。

この区別は極めて重要だ。なぜなら二つのバージョンは弱点が異なるからだ。強いバージョンは途方もなく過信していると思う。弱いバージョンには同意するが、それでも物足りないと感じる。

複雑な議論が示唆する通りに事が運ばない確率が50％を超えると思ってみよう。もしかしたらテイクオフは緩やかかもしれないし、AIが決定的な戦略的優位を築けないかもしれない、とにかく何かが違うかもしれない。では、その先はどうなる？

もちろん、すべてがうまくいって、あなたが何百万年も生き、銀河を探検し、詩を読み、瞑想し、パイを食べることになるかもしれない。それは素晴らしい。だが、人類が結局は破滅する――ただ違う形で――という可能性もあるように思える。複雑な議論は、ステップのいずれかが失敗したときに何が起こるかについては何も語らない。そのため、どのステップもなければすべて問題ないという印象を与えかねない。だが、そうではない。

シンプルな議論の方が説得力もある。その理由の一つは――まあ――真実の方が人を説得しやすいからだと思う。だがそれ以上に、シンプルな議論は新しい概念や抽象化を必要とせず、より知能の高い存在が予想外の形でいかに危険になりうるかという、私たちがすでに持っている直観をうまく利用しているからだ。

私はむしろ、シンプルな議論を裏返した形の方が好みだ。もしAIリスクなどないと主張するなら、次のうちどれを甘んじて受け入れるつもりだろうか？

1. 「IQ300のエイリアン種族が地球に来ても、絶対に問題ない」
2. 「今後数十年のうちにIQ300のAIが出現するなんてありえない」
3. 「AIには必ず備わっているはずの特別な性質があって、それがエイリアンが引き起こしうるあらゆる悪い結果を必ず防いでくれる、とわかっている」

これらのどれも、私には受け入れがたい。だからこそ、AIリスクは現実のものだと思う。

だが複雑な議論を持ち出すと、急激なテイクオフやアラインメントの困難さなどをいちいち論証する負担を負うことになる。その議論を聞いた人は、AIが一体どうやって人に危害を加えうるのか具体的な説明を求めることも多い（「ナノテクノロジー？生物兵器？どんな生物兵器？」といった具合に）。これは、シートベルトを締める前に交通事故がどう起きるかを正確に知ろうとするのと同じくらい間違っていると思う。複雑なシナリオが可能である限り、それは管理すべきリスクなのだ。だが、多くの人はそうは考えない。

だが、シンプルな議論の最大の利点は別にあると私は思う。それは意見の対立の核心を明らかにすることだ。

私は、複雑な議論をまったくもっともらしくないと感じる多くの人と話してきた。私はそれは確かにもっともらしい――ただ確実ではないだけ――と思っているので、よく「なぜ？」と尋ねる。返ってくる理由は実にさまざまだ。アラインメントは簡単だと言う人もいれば、AIは決して本当の意味での「エージェント」にはならないと言う人もいるし、進化したシステムと設計されたシステムの危険性の違いを語る人もいれば、NP困難性や意識の本質に基づく技術的な議論を持ち出す人もいる。

こうした人たちに考えを変えさせることには、ほとんど成功したことがない。特定の議論が成り立たないことを納得させることには成功したことがある（例えば、NP困難性や意識の本質はおそらく無関係だと納得させたことはある）。だが、そうした議論を手放しても、彼らが翻ってシナリオ全体をもっともらしいと受け入れることはない。ただ別の反論に乗り換えるだけだ。

そこで代わりにシンプルな議論をするようにした。そうしてわかったことがある。こうした人々は、誰一人としてIQ300のAIが実現しうることを本当には受け入れていないのだ。

もちろん、彼らはしばしばそれを受け入れていると口では言う。だが問い詰めてみると、彼らが思い描いているのは必ずと言っていいほど、何か中核的な人間的能力を欠いたAIだ。多くの場合、そのAIは定理を証明したり質問に答えたりはできるが、何かを欲し、行動し、人間関係を築き、長期的な計画を立てるような「エージェント」ではないのだ。

だから私は、これがAIリスクをめぐる問題の核心だと推測している。IQ300で人間のあらゆる能力を備えたAIが出現しうることを本当に受け入れている人は、ほぼ例外なく少なくとも多少はAIリスクを懸念している。そしてAIリスクを懸念していない人は、ほぼ例外なくIQ300のAIが出現しうることを本当には受け入れていない。もしそこが核心なら、私たちはできるだけ早くそこにたどり着くべきだ。そしてそれを可能にするのがシンプルな議論なのだ。

複雑な議論を支持する理由

中立だと言うつもりはない。タイトルが示唆する通り、私はシンプルな議論を擁護するつもりでこの記事を書き始め、今でもその主張は強力だと思っている。だが、反対側の論拠も検討すべきだと考えた――そして、なかなか良いものもある。

上で、複雑な議論には二つのバージョンがあると述べた。描かれるシナリオが必ず起こると主張する「強い」バージョンと、単にもっともらしいと主張するだけの「弱い」バージョンだ。私は強いバージョンを過信だとして退けた。そして弱いバージョンも退けた。なぜなら、人類にとって事態が悪化するシナリオは他にもたくさんあるのに、なぜこの一つにだけ焦点を当てるのか、という理由からだ。

しかし、複雑な議論には「中間」のバージョンもある。描かれるシナリオが確実だとは主張しないが、もし人類にとって事態が悪化するとすれば、おそらくはそのシナリオのような形で悪化するだろうと主張するのだ。これなら私の二つの反論をともにかわせる――過信が少なく、この特定のシナリオに焦点を当てる十分な理由にもなる。

個人的には、緩やかな無力化のような他の悪いシナリオももっともらしいと思っているので、この主張には賛成できない。だが、私が間違っている可能性もある。複雑なシナリオが悪い結果の確率の大部分を占めていると主張するのは、突飛なことには思えない。もしそれが真実なら、ぜひ知りたい。

さて、見栄え（optics）を理由に特定の議論を優先すべきだと示唆する人もいる。複雑な議論を受け入れているとしても、説得力がある、あるいはAIリスクのコミュニティにとって見栄えが良いという理由で、シンプルな方の議論をすべきだというのだ（「変なやつだと思われたくないから」）。

個人的には、そうした類の議論にはアレルギーがある。自分が実際に信じていることを主張すべきであって、 peopleを自分の信じさせたいように誘導するためにでっち上げた薄めた主張をすべきではない、という強い信念がある。だから、たとえ私のシンプルな議論の方が説得力があったとしても、それがどうしたというのだ？

だが、あなたが複雑な議論の中間バージョンを受け入れつつ、私のシンプルな議論の方が説得力があると思っているとしよう。そしてあなたは私ほど頑固ではなく、メッセージをより効果的になるよう調整したいと思っている。私のシンプルな議論を使うべきだろうか？私はそうすべきかわからない。

人間の典型的なバイアスは、他人も自分と似ていると思い込むことだ（地価税で賄われるペット保険の義務化に賛成する人は何人いるだろう？少なくとも80％はいるはずだよね？）。だが、私が見る限り、AIリスクをめぐる状況は逆だ。私の知る限りほとんどの人は少なくとも多少は懸念しているのに、「普通の人」はAIリスクをSFのナンセンスだと思っている、という印象を抱いている。

ところが、最近の世論調査はこうなっている。

AIを懸念することは、決して周縁的な立場ではない。人々はすでに心配しており、その割合は増え続けている。

私はかつて、自分のシンプルな議論を、AIリスクを真剣に受け止めつつも過信はしない、分別ある中庸として思い描いていた。

だが、私の言う「明白な議論」は実際に明白で、人々が自分で思いつけるものなのではないかと思い始めている。世論調査のデータを見ると、実際の状況はむしろ次のようなもので、左側にいた人々が徐々に中央へと歩み寄ってきているように見える。

むしろ、見栄えの点では、私のシンプルな議論よりも自信に満ちた議論の方が有利かもしれない。原則として、両者は似たような行動を示唆している。すなわち、実存的リスクを減らすために素早く動くことだ。だが実際に私が見ているのは、ほとんどの人々が――AIに携わる人々でさえ――無力感を抱え、ただ身をこわばらせて事態が最善の方向に向かうことを祈っているような姿だ。

自分が信じていないことを主張すべきだとは思わない。だが、もしあなたが複雑な議論を信じているのに、見栄えを気にして自重しているのだとしたら、私にはその意味がよくわからない。