Amodei（アモデイ）は最新のブログ投稿で、共感できる内容と、AIの真のリスクがどこにあるのかという点で誤解を招いていると私が考える内容を混在させて書いている。私は、数あるリスクの中でもオープンウェイトモデルが最も軽微なものである理由に絞って論じたい。私は、AIが近い将来きわめて危険なものになり得ると強く信じている者としてこれを書いている。

1. OpenAI / HFの一件で起きたこととまったく同じように（あれは冗談だったが、結果ではなく様式に注目してほしい）、最初の深刻なAIインシデントは、フロンティアAIラボの壁の*内側*で、新しいモデルのテスト中、あるいはラボの従業員やアクセス権を持つごく少数の外部の人間が、モデルの想定される能力に照らして何か誤ったことをしたときに起きる可能性が極めて高い。
2. 一般公開されることすらないクローズドモデルでさえ、所詮は数TBのデータに過ぎない。それを漏洩させるのに必要なのは、アクセス権を持つ、誤った目的を抱いたたった一人の人間だけで、そうなればオープンなモデルの場合と変わらない状況に戻ってしまう。オープンモデルはテストを*経た後*に公開され、しかも同等の能力を持つモデルがすでに一定期間API経由で提供された後に公開される。真のリスクはリリースではなくリークにあり、リークはフロンティア企業の内部で起きる。
3. Amodeiが言うように、LLMが生物学などの分野で十分に危険なレベルに達すれば、オープンモデルは特定の科学分野を削除したコーパスで学習させることで、他の多くの用途では依然として有用性を保つことができる。特定の領域で強力な事前学習を欠いたモデルが持つ限られた知識は、たとえモデルが他の面では非常に高性能であっても、強力な防御になる。現在、オープンモデルがそうした種類の危険をもたらす段階にはない。
4. サイバーセキュリティの文脈では、LLMがもたらす防御的なセキュリティやバグ探索への広範なアクセスを*持たない*ことこそが、まさに「武器としてのLLM」という問題を生み出す。すでにそれは起きている。オープンソースのメンテナが何らかのサイバー支援プログラムの対象外であれば、本来見つけられるはずのセキュリティバグをすべて見つけることはできない。一方で、特定の意図を持つ人々は、フロンティアのサイバーモデルにアクセスしたり、オープンウェイトモデルで大規模なRL（強化学習）を行ったりすることができるのだ。
5. LLMが十分に危険なレベルに達したとき（進歩が続けば、その限界はすぐそこだ）、本当に必要となる安全保障のチェーンはラボの内部にあり、強力な共通ルールなしには構築できないし、一企業が単独でモデルが十分に安全かどうかを評価できるべきではない。世界中の専門家を擁し、フロンティアAI企業が存在する国々の政府から承認された、共同のAI安全機関が必要だ。
6. 安全性のためにAIの進歩を遅らせることは、医学をはじめとする科学分野でのAIの発見が人間の苦しみを減らし得るという事実と天秤にかけなければならない。チェックを怠れば、破滅的な結果を招くかもしれない（「おはよう！強化天然痘に取りかかろう」）。進歩がなければ、救えたはずの人々が死ぬことになる。今現在だけでなく、将来病に苦しむことになる多くの人々の中でだ。これは奇妙な論点に見えるかもしれないが、AIを止めること*にも*安全保障上のコストが埋め込まれており、それが単にずっと見えにくいだけなのだということを、常に理解しておく必要がある。
7. Amodeiの対中イデオロギー的立場は不公平だ。われわれヨーロッパ人は80年前まで、節度のかけらもなく殺し合ってきた（今では忘れられているが、米国がかつて欧州の安定に投資した理由の一つは、われわれがきわめて危険な存在であり、放っておけばまた同じことを繰り返しかねず、一方で数十年にわたる豊かさが良き市場を生み、再び戦うことを防ぐと考えたからだ）。米国は現在でさえ、悲劇的な格差を抱え、基礎的な医療すら受けられず苦しむ人々がおり、不安定に見え、明らかに戦争に傾きやすい大統領がいる。中国にも西洋と同等の個人の権利があってほしいと私は願うが、同時に中国の歴史は西洋文化に比べてはるかに好戦的ではない。現状において、AGIによる軍事的優位の固定化を、中国の方が米国よりも容易に成し遂げられるというのは全く明らかではない。さらに、現米国政権はあらゆる形で欧州に憎悪を吐き出しており、米国がすべてを支配する世界においてこれは非常に懸念すべきことだ。その上、中国のAIの進歩は、GPUの輸出規制がどうあれ止まることはない。とすれば、Amodeiは米国がAGIを得た暁には武力で中国を止めるべきだと主張しているのか、でなければ彼の主張は何なのか。
8. 人類の歴史において、技術的優位が当初は世界のただ一カ所で達成された例は数多くある。私の知る限り、それが*一つの*国による恒久的な優位の確立の試みに結びついたことは一度もない。おそらくGPU禁輸に最も近い事例である核兵器の不拡散でさえ、従わない他国すべてを爆撃すると脅して恒久的な経済的優位を得るために利用されたことはなく、また複数の主体が異なる時期にその技術を獲得することを防ぐこともなく、一方が他方の進歩を止めるために爆撃することもなかった。さらに、私はAIがもたらす最大の危険は政府主導の行動によるものだとは考えていない。むしろそれが最も危険なシナリオであってほしいくらいだ。政府は愚かなことをし、しばしば攻撃的であり、その行動がジェノサイドにすらつながったこともあるが、恐ろしいことを実行するには大勢の人々の合意が必要であり、それ自体が制約となる。最大の問題は、別の二つのケースで何が起きるかだ。A）少数の個人が黙示録的な事態を引き起こす（ウイルスのケース）、B）AI自体がそれを構築した人々の制御から逃れる、というケースである。

私はAIを安全だと考えるべきではないと思っている。ホモ・サピエンスの絶滅につながりかねない重大な事態は起こり得る。しかし危険はオープンモデルにあるのでも、中国が米国より速く進歩することにあるのでもない。危険は、必要な経歴も正統性も持たない数人のCEO（世界中のどこであれ）が、人類全体に関わる困難な選択を下す立場にいることにある。彼らはそのために選ばれたわけではない。ただ出来事の偶然がそうした体制を生み出しただけだ。賭けられているものの大きさを考えれば、GPUと金を持っているというだけで、彼らがすべての人を代表して語ることはできない。これこそが、まず最初に正されなければならないことだ。