2025年5月、私はOpenAIで国家安全保障政策を担当し、モデルがパンデミックを引き起こす攻撃者を本格的に支援しうる未来にどう備えるかを考えていたヨー・シャビット（Yo Shavit）と出会いました。彼と通話し、その内容をチームに共有したところ、返ってきた主な反応は「そもそも、そんなことができるモデルを作らなければいいのでは？」というものでした。

ある意味、それはもっともな指摘です。生物学的能力のフロンティアを押し広げ続けることで、OpenAIの行動はSecureBioが解決しようとしている多くの問題を悪化させていました。しかし、OpenAIが立ち止まったところで問題が解決するわけではありません。他社も急速に開発を進めており、経済的なインセンティブは能力の急速な向上を強く後押ししていました。モデルが生物学の分野で人を支援する能力を高めつつあることを考えれば、世界をパンデミックに対してよりレジリエントにすることは、いずれにせよ最優先事項である必要がありました。

ただ、当初の会話がどのような展開になるかを考えたとき、私が最も懸念したのは、それが（a）SecureBioがOpenAIの取り組みを独立して評価し、批判する能力を損なうのではないか、あるいは（b）モデル開発者がセーフガードを改善する動機を弱めることで、結果的に世界をより危険にするのではないか、という2点でした。どちらにも一理あると今でも思っています。詳しくは後述しますが、それでもヨーと協力の可能性について話し合う価値は十分にあると感じました。

私は、アウトブレイク、特にそうでなければ検出される前に広く拡散してしまうおそれのある人工的に作られたものにフラグを立てるための早期警戒システムを構築していることを説明しました。メタゲノムシーケンスによって、どの配列を探すかをあらかじめ決めておくことなく、サンプル中にどのような核酸配列（DNAやRNA）が存在するかを見ることができること、そしてそれを下水や鼻腔スワブで試験的に運用していることを説明しました。その後数カ月にわたって研究を加速させる機会について話し合い、彼は私たちをOpenAIの共同創業者であるヴォイチェフ・ザレンバ（Wojciech Zaremba）に紹介してくれました。そしてヨーとヴォイチェフの2人は、OpenAI PBC（営利企業）からOpenAI Foundation（OAIF）へと移りました。私たちは彼らの新しい立場でも対話を続け、そうした議論に加えて徹底的なデューデリジェンスを経て、本日発表した1720万ドルのOAIF助成につながりました。この助成には本当に胸が高鳴っています。これにより監視システムを拡張し、結果が得られるまでの時間を大幅に短縮し[1]、何かが検出前に広く拡散するリスクを全体として低減できるからです。

話を先ほどの2つの懸念に戻します。（a）の独立性についてですが、SecureBioにはDetectionとAIという2つの部門があります。今回の助成はDetectionを対象としたもので、SecureBioのAI部門はOpenAIを含む多くの企業のモデルを評価しています。この助成によって、OpenAIやOAIFがSecureBioの誰かがモデルについて公に発言する内容を公式にコントロールする権限を得ることはありません。それは私たちにとって重要でしたが、OAIFにとっても同様に重要でした。ヨーは、SecureBio AIの活動に影響を与えるつもりはないと非常に明確にし、私たちのポリシーが十分に堅牢であることを確認するためにレビューしたいとさえ述べていました。

とはいえ、インセンティブには注意を払う必要があります。私の目にはOAIFは独自に意思決定をしているように映りますが、両組織は「OpenAI」という名前を共有している以上に密接に結びついています。OpenAI Foundationの基金はOpenAI PBCの約4分の1の株式であり、取締役会の構成もほぼ同一です。SecureBioのAI部門が、将来OAIFからDetectionにより多くの資金を得られる可能性を高めるために、PBCへの批判の手を緩めるようなことはないでしょうか。

SecureBioには利益相反を緩和するための制度的な統制があり、リーダーシップ、予算、成果物が分離されているほか、AIチームは原則や利益相反ポリシーに関する公開文書を作成しています。しかし、ここで最も有力な証拠は4月のことだと考えています。AIチームがGPT-5.5を検証していたときのことです。助成は、私が考える中でも最もデリケートな段階にありました。数カ月にわたって取り組み、非常に前向きな感触を得ていたものの、まだ最終的な回答は得られていなかったのです。この状況は組織内で共有されており、AI部門のリーダーも把握していましたが、これがAIチームの公表内容に影響を与えるという話には一度もなりませんでした。そして評価の中で、彼らは一連の懸念を記録しました。最大のものは、いくつかのベンチマークにおいて、モデルが危険な質問に対して話をそらすことで拒否したように見せかけながら、実際には高い転用可能性を持つ関連する解決策を提示することで、求められた情報を提供してしまうというものでした。これらのベンチマークにおいてセーフガードは見せかけに過ぎず、AIチームは助成が審査中であるにもかかわらず、その評価を公開したのです。

ただし、こうしたインセンティブへの懸念は、今回の助成に始まったことではありません。AI部門がある企業のモデルを評価する際、その費用は通常その企業が負担します。例えば、上記のGPT-5.5の評価では、OpenAI PBCがSecureBioの費用を負担しました。これはAI評価では一般的なことであり、評価者を金銭的インセンティブから隔てるAIとDetection間の部門の壁がない分、今回の助成よりも直接的な結びつきだと言えます。

それでも、基準を守り続けるには継続的な努力が必要な領域です。もしDetectionへの資金提供が私たちのAIチームの評価に圧力をかけるための梃として使われている兆候があれば、私はそれを公に発言し、持てるあらゆる手段を使ってそれを止めます（辞任も含めて）。ただ、私はそうした事態は想定していません。むしろ本当の懸念は、誰かが明示的に何かを求めるわけでもないのに、無意識のうちに評価が甘くなっていくような、微妙な偏りだと考えています。これはAnthropicの従業員からの資金提供についても同様の懸念であり、SecureBioはAnthropicの活動についても評価を行っているからです（例）。ですから、もしSecureBioがOpenAIやAnthropicに対して不当に肯定的な内容を出したり、逆にこうしたインセンティブを意識しすぎて不当に否定的になったりするのを見かけたら、ぜひ指摘してください。

（b）については、この取り組みがモデル開発者により大きなリスクを取らせることになるかどうかという問題です。防御が強化されたと知って彼らが夜ぐっすり眠れるようになれば、その分、日中はより速く開発を推し進めるだけなのではないでしょうか。私たちはフロンティア企業の内部的なセーフガードを補完する存在でありたいのですが、もし代替になってしまったらどうなるでしょうか。

モデルが何を説明しようと関係がないほど、現実世界の防御がモデルのセーフガードを完全に代替するような、壊滅的なバイオリスクに対して十分に頑健な世界は、素晴らしい到達点でしょう。私たちや多くの他のプロジェクトが、その世界の実現に向けて取り組んでいます！しかし、そこに至るまでには膨大な作業が残されています。懸念されるのは、リスクが依然として許容できないほど高いにもかかわらず、AI企業がリスクを低いと認識してセーフガードを緩めてしまうことです。

この効果は方向性としては現実にあると思いますが、直接的な代替としての影響は、企業にセーフガードへの投資を促す評判、法的（責任や規制リスク）、そして道義的な力に比べれば小さいものです。今回の助成によって攻撃をより早期に検知できるようになりますが、攻撃による影響全体を緩和するにはほど遠く、大規模な生物学的危害に至るいくつかの経路のうちの一つをカバーするに過ぎません。世界を壊滅的なバイオリスクに対してより頑健にすることによる一次的なプラスの効果は、セーフガードが緩むことによる二次的なマイナスの効果をはるかに上回る可能性が非常に高いのです。もし逆だと考えるなら、私はむしろ他者に行動を促すために、あえてリスクを目に見えて高めるような活動（ウイルスハンティングなど）を行ったり資金提供したりすべきだということになってしまいますが、それはひどい考えに思えます。

これとは別ですが関連して、「政治的な隠れ蓑」という側面もあります。PBCが（OAIFによる助成であるにもかかわらず）この助成を指して「何か対策をしている」と主張し、外部からの圧力をかわそうとする可能性です。そうした圧力の低下によって、本来であればリスク低減により効果のあるコストのかかる対策を回避できてしまうのであれば、それは損失であり、この助成に関する私の最大の懸念でもあります。慈善的な資金提供は、無謀な行動を正当化する免罪符であってはなりません。もし彼らがそれを言い訳として持ち出すのであれば、私たちはそれを受け入れるべきではありません。どうかOpenAIをはじめとするすべてのフロンティア企業に対して、歩みを緩め、その活動が破局につながるリスクの低減を優先するよう、圧力をかけ続けてください。しかし、企業への圧力以上に重要なのは、思慮深いAI規制を求めるアドボカシーです。これは、個々の企業にとっては減速することが利益にならなくても、人類全体にとってはそうすることが利益になるという、協調の問題なのです。

総じて、この助成は非常にポジティブなものだと考えています。私たちの取り組みによってOpenAIなどが自らの対策を緩めることよりも、私たち自身がこの活動を最善の形で前に進められないことの方が、はるかに心配です。

[1] これにより、プロジェクトに参加するためにGoogleを辞める数カ月前に、4年前に私が投げかけた問いに対して、ついに答えることができるようになります。