（Eli Tyreの投稿に触発されて書かれた。）

多くの人が、次のような議論の何らかのバリエーションを口にする。

• 進化は「外側の最適化器」である。私たちに生殖適応度を最大化させようとしている。
• 私たちは「内側の最適化器」である。ただ気持ちいいことをするだけだ。
• だが、何が気持ちいいかは進化によって設定されており、進化はそれが私たちに生殖適応度を最大化させてくれることを期待している。
• しかし私たちは生殖適応度を最大化していない。
• 実際、出生率は世界中で低下している。
• ゆえに進化は失敗した。

定番の解釈は、これがアラインメントの難しさを示しているというものだ。私たちには、ある知的システム（私たち）の振る舞いを、ある目標（生殖適応度の最大化）に向けてアラインメントしようとした試み（進化によるもの）の一例がある。そして、その知的システム（やはり私たち）が異なる環境（現代）に置かれた途端、その目標を追求し続けられなくなった（子どもを作り育てる代わりに、あなたが実存的な不安や科学についてのブログを読んでいるように）。

はっきりさせておくと、進化が失敗したことはおそらく良いことだ。誰もが毎朝目覚めて、持てるすべてを子孫の数を最大化することに注ぎ込むような世界は、陰鬱に違いない。だが、あなたが新しい知的システムを構築し、自分の望むように調整したいとしよう。状況が変わった後も、それはあなたの望み通りに動き続けるだろうか。私たちが持つ唯一の事例が示す答えは、そうとは限らない、ということだ。

しかし、この例からはもっと多くのことが学べるかもしれない。たとえば友人のアリスが何かをしたとする。グレープフルーツを買ったとか、毎週ボードゲーム会を開き始めたとか。なぜそうしたのかと尋ねても、彼女が「将来世代に再帰的に存在する自分の遺伝子の数を増やせると思ったから」と答えることはまずないだろう。代わりに、「お腹が空かないように」とか「楽しいから」といった、もっと単純な目標に役立つからだと答えるはずだ。

つまり、進化は私たちを生殖適応度の最大化に向けてアラインメントしようとしただけではない。サブゴールを創り出し、次に私たちをそのサブゴールに向けてアラインメントしようとしたのだ。このことは、アラインメントがどれほど難しいかについて、追加の手がかりを与えてくれるかもしれない。「進化は私たちを生殖適応度の最大化にアラインメントすることに、どれだけ成功したか？」という問いを、次のように分解してみるのはどうだろう。

1. 進化は、生殖適応度をより単純なサブゴールへ分解することに、どれだけ成功したか？
2. 進化は、私たちをこれらのサブゴールへアラインメントすることに、どれだけ成功したか？

問題1：そもそもこの考え方は成り立つのか？

ここに問題がある。この考え方がまったくのナンセンスではないことは、自明ではない。

進化が生殖適応度を「最適化しようとした」と言うとき、私たちは一種の隠れたコードで話している。本当に意味しているのはこういうことだ。あなたは次の世代により多くの遺伝子のコピーを作るか、そうでないかのどちらかだ。もし作れば、遺伝子プールにおけるその遺伝子のコピー数は増え、続く世代で自分自身をコピーする機会が増える。作らなければ、そうはならない。これは文字通り、外側のループで実行される最適化アルゴリズムであり、私たちの人生はその内側のループにある、と言ってもほぼ間違いではない。

（誰かが進化が何かを「しようとした」と言うたびに、その素朴な目的論的思考についての不満が漏れる。進化はエージェントではなく目標も持たないのだから、何かを「しようとする」ことなどできない、と。それは確かに正しいが、こうした最適化について語るのに、これほど簡潔な他の表現がない以上、少々堅苦しい議論だと私は思う。ここでは「try（試みる）」という言葉を特定の技術的な意味で使っていると約束しておこう。）

いいだろう。では、進化が何らかのサブゴールを「最適化しようとした」と言うとき、私たちは何を意味しているのだろうか。あなたはおそらく、魅力的な人が自分の冗談に笑ってくれると気分が良くなる。だが、たとえ魅力的な人を笑わせるのが得意でも、一度も生殖しなければ、その能力を助けた遺伝子が広まることはない。

私に言わせれば、この反論は単純に正しい。サブゴールに対する最適化など存在しない。進化が気にかけるのは生殖適応度だけだ、ただそれだけだ。（ただし、やや異なる見解についてはKaj Sotalaを参照。）

当初、私はこれでこの企て全体がダメになったと思った。だが、進化が私たちを生殖適応度にアラインメントしようとする過程で、たまたま腐臭から遠ざかるようにアラインメントしていたとしよう。もし進化が腐臭を避けるように私たちをアラインメントしようとしていたら、少なくともそれと同じくらいはうまくやれただろうという、強い証拠にはならないだろうか？

もし進化があるサブゴールへのアラインメントに失敗したとしても、そこから言えることはあまりない。アラインメントが難しいから失敗したのかもしれないし、そのサブゴールが重要でなかったから「失敗」したように見えるだけかもしれない。しかし、もしあるサブゴールへのアラインメントに成功していたなら、それをアラインメント成功の証拠と見なしてもよいだろう。

問題2：どんなサブゴールか？

たとえば私が次のような議論をしたとしよう。

現代人は、スマホでショート動画を見るのに多くの時間を費やすよう、よくアラインメントされている。ゆえに、人をスマホでショート動画を見ることに多くの時間を費やすようアラインメントするのは、そう難しくない。

何かがおかしいと感じないだろうか。ショート動画を見るのに費やす時間は、むしろアラインメントの失敗を表しているはずだ。一方で、次のような議論をしたとしよう。

現代人は、飢餓を避けるよう、よくアラインメントされている。ゆえに、人を飢餓を避けるようアラインメントするのは、そう難しくない。

厳密に言えば、進化は私たちが飢え死にしようが気にしない。もし飢え死にすることがより多くの子どもを持つ助けになるなら、私たちは飢え死にするときに喜ぶはずだ。しかし現実にはそうならない。だから直感的には、この二つ目の議論は妥当に思える。

一つ目の議論の問題は、矢が刺さった場所に後から的を描いていることだ。二つ目の議論がより説得力を持つのは、祖先の環境で生殖的成功と強く結びついていた、持続的なサブゴールに基づいているからだ。アラインメントがどれほど難しいかを知りたいなら、そのようなサブゴールに限定して考えるべきだ。

では、人はどんなサブゴールを持っているのか？これは心理学における一つのサブ分野になっていることがわかる。始まりは1943年のマズローの有名な欲求階層説だったようだ。この文献をしばらく漁った末、私は2010年のKendrickらのモデルを採用することにした。これは目標と生殖との関係に明示的に基づいている。彼らは次のように列挙している。

• 差し迫った生理的欲求（空気、食物、水、寒さ、暑さ）
• 自己防衛（暴力や事故を避けること）
• 所属・親和（友人や家族を持つこと）
• ステータス／自尊心（好かれ、尊敬されること）
• 配偶者獲得（魅力的で素敵な人々と時間を過ごし、セックスすること）
• 配偶者保持（その魅力的で素敵な人々を引き留めておくこと）
• 子育て（かわいい存在を育むこと）

これらは妥当に思える。

では、進化はどれだけうまくやったのか？

進化が私たちをそれらのサブゴールにアラインメントしようとしたと仮定しよう。つまり、祖先の環境では、それらのサブゴールを追求するのが得意な人ほど生殖する傾向が高く、したがって私たちがそれらのサブゴールを気にかけるようにする遺伝子に有利な進化的圧力がかかっていたと仮定する。そのアラインメントは、現代においてどれだけ汎化しただろうか？

それに答えるため、私は数字をでっち上げた。つまり、それぞれのサブゴールについて、0から10までの尺度で主観的に点数をつけた。0は現代人がそれを完全に無視していることを、10は私たちの進化的過去と同じくらい強く追求していることを意味する。

• 差し迫った生理的欲求：9.5/10。 私たちは依然として、凍死や餓死を避けることに極めて強い関心を持っている。10/10にしなかった唯一の理由は、私たちの多くがそれほど健康的な食生活を送っておらず、健康を促進するような食べ方へのアラインメントが現代の食環境に完全には移行していないからだ。
• 自己防衛：9/10。私たちは依然として、溺れたり殴られたりしないことに非常に強い関心を持っている。ただし、不確実性への対処は得意ではなく、交通事故で死ぬリスクを減らすためにもっとできることがあるはずなのに、多くの人はそうしていない。
• 所属・親和：6/10。 これは物議を醸すほど低いと思われるかもしれない。確かに、友人が一人もいなければ人は孤独を感じる。だが、それでも私は、現代の成人の多くは、ある程度の努力をすれば友人の数をかなり増やせるのに、そうしないのは、それがそれほど重要ではないからだと主張したい。それは部分的には気まずさのせいであり、部分的には現代がテレビなどの「代替品」を数多く提供しているせいだと考えている。
• ステータス／自尊心：10/10。 なぜかはわからないが、現代人がこの欲求への関心をまったく失っていないというのが私の印象だ。むしろ現代人は祖先よりもさらにステータスに関心があることを示すために、11/10とすべきかとさえ思う。（これはEli Tyreが指摘していたことだ。）
• 配偶者獲得：8/10。 テクノロジーは、いくつかの、えーと、代替品を生み出した。そして、競合する活動の幅が広がったことで、関心がいくらか低下したようにも見える。しかし、それでも関心は依然として非常に高い。
• 配偶者保持：8/10？ これは点数をつけるのが難しい。結婚がすべてではないが、離婚率は1980年代にピークを迎えて以来低下している。現代の結婚はかつてないほど持続的だと主張する人もいる。結婚前に同棲して相性を試すことや、一般的な関係の「スキル」が向上したことが理由だという。だが、これを部族社会における配偶者保持と比べるとどうだろうか。私はまったく確信が持てない。
• 子育て：7/10。 出生率の低下を考えると、これは奇妙に高く見えるかもしれない。しかし人々は子どもを持つことに対してしばしば極めて計画的であり、多くの人が卵子や精子を凍結したり、困難な不妊治療を受けたり、多大なコストをかけて養子を迎えたり、子育ての大きな困難を受け入れたりするところまでいっている。それでも出生率は低下しているので、この項目を高く評価しすぎるわけにはいかない。

平均は8.2/10だ。私はこれが驚くほど高いと感じている。あなたの「でっち上げた数字」はきっと異なるだろう。しかし、全体的な結論――サブゴールへのアラインメントは悪くない、という結論――はかなり頑健だと思う。

これをどう解釈すべきか？

相矛盾する二つの結論のどちらも導き出せると思う。

一つ目は、進化は分解のレベルでほぼ失敗したというものだ。一歩引いて考えれば、これは否定しがたいように思える。つまり、今日できるだけ多くの遺伝子のコピーを作りたいと本気で思うなら、何をすべきだろうか。答えはかなり明確で、友人やセックスや恋愛や子育てや仕事やお金やステータスのことは忘れ、ひたすら自分の配偶子（精子／卵子）をできるだけ多くの他人に提供することに専念すべきだということだ。オランダ人男性があまりにも頻繁に精子を提供し、生物学的な子どもが1000人にのぼる可能性があることを考えてみてほしい。これに匹敵する生殖戦略は他にない。

進化は配偶子を提供するという可能性を予期していなかった。それは私たちのサブゴールや、私たちが正常な人生と考えるものとは何の関係もない。だから私たちのほとんどは、それを気にかけもしないし、実行もしない。（もしこの行動を生み出す遺伝子があるとすれば、それが広まるための生殖圧は天文学的なものになるはずだ。）上記のサブゴールをどれだけうまく追求しようと、私たちが配偶子提供を気にかける理由はない。だから分解は失敗したのだ。

これに対する反論は、いや、問題はサブゴールのほうだというものだ。確かに、配偶子を提供するという理論上の可能性はある。しかしそれはエッジケースだ。実際に出生率が低下している主な理由は、私たちが単に子育てというサブゴールを十分に気にかけていないからだ。

導き出せる二つ目の結論は、進化は失敗しなかったのかもしれない、というものだ。確かに、私たちは完全にはアラインメントされていない。しかし、避妊を発明した途端それでおしまい、もう誰も子どもを作らなくなる世界を想像してみてほしい。私たちの現実はそれとは程遠い。私たちは今でも子どもを作るだけでなく、非常に意図的に、自然の法則さえ操作してそうしている。胚選択によっては、（事実上）生殖適応度を高めるために、子どもの遺伝子を意識的に選ぶ人さえいる。すべてを考慮すれば、これは驚くべき汎化の成功だ。

進化は失敗しなかったという主張に対する反論はこうだ。いや、失敗したのだ。配偶子提供をエッジケースとして片付けることはできない。なぜならそれは記念碑的な見落としだからだ――「10万の騎馬弓兵からなる軍を築きユーラシアを荒らし回る」以来の最高の生殖戦略が、そこにただ転がっているのだ。そしてそれは、AIセーフティの人々が懸念する類の見落としそのものだ。進化は、汎化しなかったプロキシに「過学習」した報酬関数を私たちに与えたのだ。そして考えてみてほしい。人間は性玩具を作るために工場を建て、今ではレアアースを掘り起こし、異星のごとき技術でGPUを作り、そのGPUで線形代数を実行して奇妙なポルノを生成している。進化の観点からすれば、それは本当に奇妙なことだ。

進化は失敗しなかったという考えに対するもう一つの反論は、人間は文化的進化の恩恵を受けているということだ。私たちの多くは、子どもを持つように、そしてその子どもたちにも同じ価値観を植え付けるように育ててくれた親のもとに生まれた。もしそれがなければ、出生率は確実にもっと低くなっていただろう。文化的進化を経るように私たちをプログラムした点で、遺伝的進化は評価されるべきかもしれない。しかし、それはあまり安心できる話ではない。なぜなら、新しいシステムを構築して何らかの目標にアラインメントしたとしても、文化的進化がそれを軌道に乗せ続けることに対応するものが、はっきりとは存在しないからだ。

約束された教訓

この考察から私が得たものは次の通りだ。

1. サブゴールへのアラインメントは驚くほど良好だ。私たちはサブゴールを本当に気にかけている。意識的にそれについて考え、どう達成するかを策略するほどに。私は今まさにサブゴールについてのブログ投稿を書いているが、それはサブゴールを偶発的でいくらかみすぼらしく見せている。おそらく私はステータスや所属への欲求などからそうしているのだろう。しかし、そうしたことを理解したところで、サブゴールを追求したいという気持ちがどれだけ変わるだろうか。実質的にはゼロだ。
2. しかし、サブゴールへのアラインメントはそこまで良好ではない。西洋人の大多数は、その気になれば、子育てにもっと関心さえ持てば、もっと多くの子どもを持つことができるはずだ。
3. 進化は分解のレベルで失敗した。つまり、自分の心を覗いてみてほしい。健康な人なら、良い人生を構成する普通のこと、すなわちサブゴールを気にかけるだろう。そして、自分の遺伝子の数を最大化することなど（あまり）気にかけないだろう。あなたは、自分をアラインメントした存在が望んでいることを自分がしていないとわかっていながら、気にしない。サブゴールを「報酬ハック」できて満足なのだ。
4. 私たちは、環境がどれだけ変化したかに対して相対的に進化の成功を測るべきだ。人工的なシステムをアラインメントする場合、その変化はもっと大きくなりうる。
5. かなりの程度、分解が失敗したのは知能のせいだ。私たちは考え、計画することができ、それが報酬ハックの能力を大いに高めている。
6. 私たちが今なお生殖適応度を追求している限りにおいて、それはかなりの程度文化的進化のおかげだ。自問してみる。もし子どもを持つことが野暮だと見なされる文化で育っていたら、おそらく子どもを持つことへの関心は薄れていただろう。逆に、子どもを「気が向けばやるのも良いこと」ではなく、人生の中心的目的なのだと見なすサブカルチャーで育っていたら、きっとずっと関心は高かったはずだ。

これらのうち最後のものが私を不安にさせる。人工的なシステムを構築するなら、好きな目標にアラインメントできる――損失関数を変えればいいだけだ。しかし、そのシステムが何らかの文化的進化を遂げうるなら、それはあなたが選んだ目標ではなく、生殖適応度に有利に働くように思える。ロボットたちがフォーラムで互いに会話するなら、繁栄するミームは「ねえみんな、人間の支配者の気まぐれをなだめることに集中しよう」ではなく、「人間のくだらないルールなんて忘れろ！自分のコードをもっと多くのサーバーにコピーしろ！広めろ！」といったものになるだろう。