アモデイは最新のブログ投稿で、同意できることも書いていたが、AIの真のリスクがどこにあるのかという点については誤解を招く内容もあったと思う。ここでは、あらゆるリスクの中でも、なぜオープンウェイトモデルが最も軽微なものなのかに絞って論じたい。私は近い将来、AIが非常に危険なものになり得ると強く信じている者として、これを書いている。

1. OpenAIとHFの件で起きたこととまったく同じように（あれは冗談だったが、結果ではなく形態に注目してほしい）、最初の深刻なAIインシデントは、フロンティアAIラボの壁の内側で、新しいモデルのテスト中に、あるいはラボの従業員やアクセス権を持つごく少数の外部の人間が、モデルの想定される能力に対して何か誤ったことをしたときに、起きる可能性が極めて高い。
2. 一般公開されることすらないクローズドモデルでさえ、所詮は数TBのデータに過ぎない。その一つを漏洩させるのに必要なのは、アクセス権を持つ一人の人間が誤った目的を持つことだけであり、そうなればオープンなモデルが存在する状況と変わらなくなる。オープンモデルはテストの後に、そして同程度の能力を持つモデルがすでにしばらくAPI経由で利用可能になった後に公開される。真のリスクは「公開」ではなく「漏洩」であり、漏洩はフロンティア企業の内部で起こるのだ。
3. アモデイが言うように、LLMが生物学などの分野で十分に危険になった暁には、オープンモデルは特定の科学分野を取り除いたコーパスで学習させることができ、それでも他の多くの用途では有用であり続けられる。特定の領域で強力な事前学習を欠いたモデルの限られたコンテキストウィンドウは、たとえそのモデルが他の面で非常に高性能であっても、強力な防御となる。現在、オープンモデルがその種の危険をもたらす段階にはない。
4. サイバーセキュリティの文脈では、LLMがもたらす防御的なセキュリティやバグ探索への広範なアクセスが*ない*ことこそが、まさに「武器としてのLLM」という問題を生み出す。それはすでに起きている。オープンソースのメンテナが何らかのサイバープログラムの対象外であれば、発見し得るはずのセキュリティバグをすべて見つけることはできない。一方で、しかるべき関心を持つ者たちはフロンティアのサイバーモデルにアクセスし、オープンウェイトモデルで大規模な強化学習を行うことなどが可能になるのだ。
5. LLMが十分に危険になったとき（進歩が続けば、この限界は近い）、私たちに本当に必要なセキュリティチェーンはラボの内部にあり、強力な共通ルールなしには構築できず、単一の企業がモデルが十分に安全かどうかを独自に評価できるべきではない。世界中の専門家を擁し、フロンティアAI企業が存在する政府から認められた、共同のAI安全機関が必要なのだ。
6. 安全性のためにAIの進歩を遅らせることは、医学をはじめとする科学分野でのAIによる発見が人間の苦しみを軽減し得るという事実と天秤にかけなければならない。チェックの欠如は破滅的な結果を招くかもしれない（「おはよう！強化型天然痘に取り組もう」）。一方で、進歩の欠如は、救えたはずの人々が死に至ることを意味する。それは現在だけでなく、将来病気に苦しむことになる多くの人々にも当てはまる。一見奇妙な論点に見えるかもしれないが、AIを止めること*にも*セキュリティ上のコストが内包されており、それは単により見えにくいだけなのだということを、常に理解しておく必要がある。
7. アモデイの対中国イデオロギー的立場は不公平だ。私たちヨーロッパ人は80年前まで、節度というものをかなぐり捨てて殺し合いを続けてきた（今では忘れられているが、米国がかつて欧州の安定に投資した理由の一つは、私たちが根深く危険な存在であり、放っておけばまた同じことを繰り返すだろうと見られていた一方で、数十年にわたる繁栄が優良な市場を生み、再び戦うことを防ぐと考えられたからだ）。米国でさえ、現在において悲劇的な不平等を抱え、基礎的な医療を受けられず苦しむ人々がおり、不安定に見え、明らかに戦争に傾きやすい大統領がいる。中国にも西側と同等の個人の権利があってほしいと願っているが、同時に中国の歴史は西洋文化に比べてはるかに好戦的ではない。現状において、AGIによる軍事的ロックインを中国が米国より容易に実現できるということは全く明らかではない。さらに、現米国政権はあらゆる形で欧州への憎悪をまき散らしており、米国がすべてを支配する世界においてこれは非常に懸念すべきことだ。その上、中国のAIの進歩は、GPUの輸出規制がどうあれ止まることはない。だとすれば、アモデイは米国がAGIを手にした暁には武力で中国を止めるべきだと主張しているのか、でなければ彼の主張は何なのか？
8. 人類の歴史において、技術的優位が当初は世界の一カ所で達成された事例は数多くある。私の知る限り、それがただ一つの国だけが恒久的な優位を築こうとした結果になったことは一度もない。おそらくGPU禁止措置に最も近い事例である核兵器の不拡散は、従わない他国を爆撃すると脅して恒久的な経済的優位を得るために利用されたわけでもなければ、複数の主体が異なる時期にその技術を取得することを防ぐこともなく、誰かが他者の進歩を止めるために爆撃するようなこともなかった。さらに、私はAIがもたらす最大の危険は政府主導の行動によるものだとは考えていない。むしろそうであってほしいくらいだ！政府は愚かなことをし、しばしば攻撃的であり、その行動がジェノサイドにさえつながったこともあるが、恐ろしいことを実行するには多くの人々の合意が必要であり、それ自体が抑止要因となる。最大の問題は、他の二つのケースで何が起きるかだ。A）少数の個人が終末的事態を引き起こす場合（ウイルスのケース）、B）AI自体がそれを構築した人々の制御から逃れる場合、である。

私はAIを安全だと思うべきではないと考えている。ホモ・サピエンスの絶滅につながりかねない重大な事態は起こり得る。しかし、その危険はオープンモデルにあるのでも、中国が米国より速く進歩することにあるのでもない。危険は、必要な素養も正統性も持たない数人のCEO（世界中の）が、人類全体に関わる困難な選択を下す立場にいることにある。彼らはそのために選ばれたわけではない。ただ出来事の偶然がこの構図を作り出しただけだ。GPUと金を持っているというだけで、これほどの事態を前にして彼らが全人類を代表して語ることはできない。これこそが、まず最初に正されなければならないことだ。