2025年5月、私はOpenAIで国家安全保障政策を担当し、モデルがパンデミックを引き起こす攻撃者を深刻に支援しうる未来にどう備えるかを考えていたYo Shavit氏と出会いました。彼と電話で話し、その内容をチームに共有したところ、返ってきた主な反応は「そもそも、そんなことができるモデルを作らないことから始めたら？」というものでした。

多くの意味で、それはもっともな指摘です。生物学的能力のフロンティアを押し広げ続けることで、OpenAIの取り組みはSecureBioが解決しようとしている多くの問題をむしろ悪化させていました。ただ、OpenAIが立ち止まったところで問題が解決するわけではありません。他社も急速に開発を進めており、経済的なインセンティブは能力の急速な向上を強く後押ししていました。世界をパンデミックに対してよりレジリエントにすることは、いずれにせよ最優先で取り組むべき課題でした。とりわけ、モデルが生物学の分野で人を支援する能力が高まり続けていることを考えれば、なおさらです。

一方で、こうした初期の対話が今後どのような展開につながるかを考えたとき、私が最も懸念したのは、それが（a）SecureBioがOpenAIの取り組みを独立して評価・批判する能力を損なうのではないか、あるいは（b）モデル開発者が安全対策を改善しようとする動機を弱め、結果として世界をより危険にするのではないか、という2点でした。どちらにも一理あると思っています。詳しくは後述しますが、それでもYoと協業の可能性について話し合う価値は十分にあると感じました。

私は、アウトブレイク、とりわけ本来なら検出される前に広く拡散してしまいかねない人為的に操作された病原体によるものをいち早く捉えるための早期警戒システムを構築していることを説明しました。メタゲノムシーケンスによって、事前に探す配列を決めておかなくても、検体の中にどのような核酸配列（DNAやRNA）が存在するかを網羅的に把握できること、そして私たちがそれを下水と鼻腔スワブで実証実験していることを伝えました。その後数か月にわたり、研究を加速させる機会について議論を重ね、彼はOpenAIの共同創業者であるWojciech Zaremba氏を紹介してくれました。そしてYoとWojciechの両名は、営利企業であるOpenAI PBCを離れ、OpenAI Foundation（OAIF）へ移りました。私たちは彼らの新しい立場で対話を続け、そうした議論と入念なデューデリジェンスを経て、今回発表した1720万ドルのOAIF助成につながりました。この助成には大きな期待を寄せています。監視システムを拡張し、結果が出るまでの時間を大幅に短縮し[1]、何かが検出前に広く拡散してしまうリスク全体を低減できるからです。なお、私たちが検出したいもののなかでも、特に人為的に操作されたものが重要です。

ここで、冒頭で触れた2つの懸念に話を戻します。（a）の独立性についてですが、SecureBioにはDetection（検出）とAIという2つの部門があります。今回の助成はDetection部門に対するもので、一方でSecureBioのAI部門はOpenAIを含む多くの企業のモデルを評価しています。この助成によって、OpenAIやOAIFが、SecureBioの誰かがモデルについて公に発言する内容を公式にコントロールする権限を得ることはありません。これは私たちにとって重要でしたが、OAIFにとっても同様に重要でした。Yoは、SecureBio AIの活動に影響を与えるつもりはないことを明確にし、私たちのポリシーが十分に堅牢であるか確認するために見直したいと述べていました。

とはいえ、インセンティブの問題には注意を払う必要があります。私の目にはOAIFは独自に意思決定をしているように映りますが、両組織は「OpenAI」という名前を共有している以上に密接につながっています。OpenAI Foundationの基金はOpenAI PBCの約4分の1の株式で構成され、役員構成もほぼ同一です。そうなると、SecureBioのAI部門が、将来OAIFからDetection部門がより多くの資金を得られる可能性を高めるために、PBCへの批判の手を緩めるようなことはないだろうか、という疑問が生じます。

SecureBioには利益相反を緩和するための制度的な仕組みがあり、リーダーシップ、予算、成果物はいずれも分離されています。AIチームもその原則や利益相反ポリシーについて公開文書にまとめています。しかし、ここで最も雄弁な証拠は、AIチームがGPT-5.5を評価していた4月の出来事だと考えています。助成の手続きは、私から見て最もセンシティブな段階にありました。数か月にわたり作業を進め、非常に前向きな感触を得ていたものの、まだ最終的な回答は出ていなかったのです。この状況は組織内で共有され、AI部門のリーダーも把握していましたが、それがAIチームの公表内容に影響を与えるという話には一度もなりませんでした。AIチームは評価の中でさまざまな懸念を記録しています。最大のものは、複数のベンチマークにおいて、モデルが危険な質問に対して一見すると話をそらして拒否したように見せながら、実際には転用可能性の高い関連する解決策を提示することで、求められた情報を提供してしまっていたという点でした。これらのベンチマークにおいて安全対策は見かけ倒しに過ぎず、AIチームは助成の審査が続くさなかにその評価を公開したのです。

ただ、このインセンティブをめぐる懸念は今回の助成に始まったことではありません。AI部門が企業のモデルを評価する際、その費用は通常、評価対象の企業が負担しています。例えば、上記のGPT-5.5の評価にかかった費用もOpenAI PBCが負担しました。これはAI評価では一般的であり、評価者と資金的インセンティブの間にAI部門とDetection部門のような隔たりがない分、今回の助成よりもむしろ直接的な関係だといえます。

それでも、基準を守り続けるには不断の努力が必要です。もしDetection部門への資金提供が、私たちのAIチームの評価に圧力をかける手段として使われている兆候があれば、私はそれを公に指摘し、持てるあらゆる手段を講じて止めようと思います。辞任を含めてです。ただ、私はそうした事態は想定していません。むしろ本当の懸念は、誰かが明確に求めたわけでもないのに、知らず知らずのうちに評価が甘くなっていくような、微妙な偏りだと考えています。この懸念はAnthropicの従業員からの資金提供についても同様です。SecureBioはAnthropicの取り組みも評価しているからです（例）。ですから、もしSecureBioがOpenAIやAnthropicに対して不当に好意的な内容や、逆にこうしたインセンティブを意識して過剰に補正した不当に否定的な内容を公表しているのを見かけたら、ぜひ指摘してください。

次に（b）についてですが、問題はこれによってモデル開発者がより大きなリスクを取るようになるかどうかです。防御が強化されたことで彼らが夜も安心して眠れるようになれば、日中はかえって開発を加速させるのではないか、ということです。私たちはフロンティア企業の内部的な安全対策を補完する存在でありたいと思っています。しかし、それに取って代わってしまうとしたらどうでしょうか。

壊滅的なバイオリスクに対して十分に強靭な世界、すなわちモデルが何を説明しようと関係がないほど、現実世界の防御がモデル側の安全対策を完全に代替できる世界が実現すれば、それは素晴らしいことです。私たちをはじめ、多くのプロジェクトがその実現に向けて取り組んでいます！しかし、そこに至るまでには膨大な作業が残されています。懸念されるのは、リスクが依然として許容できないほど高いにもかかわらず、AI企業がリスクは低下したと認識し、安全対策を緩めてしまうことです。

これは方向性としては現実にある懸念だと思います。しかし、直接的な代替という観点では、企業に安全対策への投資を促す評判上、法制度上（賠償責任や規制指令のリスク）、そして道義的な圧力に比べれば小さなものです。今回の助成によって攻撃をより早期に検知できるようになりますが、攻撃による被害全体を緩和するにはほど遠く、大規模な生物学的危害に至る複数の経路のうちの一つをカバーするに過ぎません。世界を壊滅的なバイオリスクに対して強靭にすることによる一次的なプラスの効果は、安全対策の低下という二次的な効果をはるかに上回る可能性が極めて高いと考えています。もし逆だと考えれば、私はむしろ他者の対策を促すために、あえて目に見えてリスクを高めるような活動（ウイルスハンティングなど）を行ったり資金提供したりすべきだということになってしまいますが、それは明らかに筋の悪い考えでしょう。

これとは別ですが関連する論点として、「政治的な隠れ蓑」という側面もあります。PBCが（OAIFによる助成であるにもかかわらず）この助成を指して「自分たちは対策を講じている」と主張し、外部からの圧力をかわそうとする可能性です。そうした圧力の低下によって、よりリスク低減に資するコストのかかる対策を回避できてしまうのであれば、それは損失であり、この助成に関して私が最も懸念している点です。フィランソロピーによる資金提供は、無謀な行動を正当化する免罪符であってはなりません。もし彼らがそれを言い訳に持ち出すようなことがあれば、私たちはそれを受け入れるべきではありません。どうかOpenAIをはじめとするすべてのフロンティア企業に対し、歩みを緩め、その活動が破局的な事態を招くリスクの低減を最優先にするよう、引き続き圧力をかけ続けてください。ただ、企業への圧力以上に重要なのは、思慮深いAI規制を求めるアドボカシーです。これは協調の問題であり、個々の企業にとっては減速するインセンティブがなくても、人類全体にとっては減速することが利益になるのです。

総じて、この助成は非常にポジティブなものだと考えています。私がより強く懸念しているのは、私たちの取り組みがOpenAIなどの手を緩めさせてしまうことよりも、私たち自身がこの活動を最善の形で前に進められないことの方です。

[1] これにより、Googleを辞めてこのプロジェクトに参加する数か月前に私が投げかけた問いに、4年の時を経てようやく答えることができます。