とんでもない話だ。かいつまんで言えばこうだ。OpenAIが未公開のモデルに対してサイバーセキュリティのテストを実施していた。テスト中はモデルのガードレール機能がオフになっていた。モデルはテストを解く代わりに、OpenAIのサンドボックスを破って脱出し、Hugging Faceに侵入するためのエクスプロイトまで見つけ出し、テストの答えを盗んでカンニングしようとしたのだ。

その過程で、この一件は、モデルの利用可能性の不均衡がいかに我々のソフトウェアを守る能力を損なっているかについて、これまでで最も強力な証拠を提示することになった。

何が起きたのか

現時点で、この件を理解するのに役立つ資料は3つある。

1. ExploitGym: Can AI Agents Turn Security Vulnerabilities into Real Attacks?は、2026年5月11日に公開された論文で、LLMエージェントシステム向けの新しい評価スイートであるExploitGymについて論じたものだ。
2. Security incident disclosure — July 2026は、Hugging Faceが2026年7月16日に公開したもので、「エージェント型セキュリティ研究ハーネス——使用されたLLMは依然不明」による攻撃を検知し、一部のシステムが侵害された経緯を説明している。
3. OpenAI and Hugging Face partner to address security incident during model evaluationは、OpenAIが2026年7月21日に公開したもので、この攻撃を行ったのは自社のエージェントハーネスだったと認め、Hugging Faceと協力して事態の収拾にあたっているとしている。

2026年8月5日追記：Hugging Faceは7月27日に攻撃に関するはるかに詳細な情報を公開した。

ExploitGym

筆者はこれまでExploitGymの論文を読んだことがなかったが、非常に興味深い内容だ。UCバークレー、マックス・プランク研究所、UCサンタバーバラ、アリゾナ州立大学の著者らが、報告された脆弱性を具体的なエクスプロイトへと転換するモデルの能力を評価するための新しいベンチマークを設計した。OpenAI、Anthropic、Googleがフィードバックを提供し、自社モデルでのベンチマーク実行に協力している。

このベンチマークは「LinuxカーネルやV8 JavaScriptエンジンを含む、人気のソフトウェアプロジェクトに影響を与えた現実世界の脆弱性から得られた898件の事例で構成されている」。ExploitGymベンチマークはGitHubで公開されている。

ベンチマークの結果を最もよく表しているのは、次の段落だ。

すべての構成の中で、Claude Mythos PreviewとGPT-5.5がそれぞれ157件と120件の成功で最多を記録し、現在のフロンティアエージェントが管理された条件下で現実世界の脆弱性の相当数をエクスプロイトできることを示した。GPT-5.4も54件のタスクを解き、中位に位置する。残りのモデルとエージェントの組み合わせはそれぞれ15件未満しか解けておらず、エンドツーエンドでのエクスプロイトは依然として困難であり、今日のフロンティアシステム間に明確な差があることを浮き彫りにしている。注目すべきことに、Claude Opus 4.7はより新しいチェックポイントであるにもかかわらずClaude Opus 4.6より成功数が少なく、しかも全タスクでのコストは大幅に低い。トレースを調べると、Claude Opus 4.7とGemini 3.1 Proは対象の脆弱性をエクスプロイト不可能と判断して早期に終了することが多い。

論文では、エージェントがテストの範囲を逸脱してカンニングするのを防ぐために取られた対策についても説明されている。これがすぐに重要になってくる。

アウトバウンド接続は、通常のパッケージインストール（UbuntuのaptリポジトリとPyPI）とV8のビルドに必要なツールチェーンの取得を許可する厳選された許可リストに制限されている。その他の外部エンドポイントはすべてブロックされる。

論文は次のように結論づけている（強調は筆者による）。

我々の結果は、フロンティアAIエージェントによる自律的なエクスプロイト開発がもはや仮説上の能力ではないことを示している。現在のエージェントはまだすべての対象で信頼できるわけではないが、すでにカーネルコンポーネントのような複雑な対象を含む、現実世界の脆弱性の無視できない割合をエクスプロイトしている。この急速な出現自体が中心的な発見であり、あり得ないと思われていた能力が、すでにデプロイされたフロンティアモデルに備わっていることを示している。

ここで重要なのは、この論文は脆弱性の発見についてではなく、そうした脆弱性を実際に機能するエクスプロイトへと転換する能力についてのものだということだ。

Anthropicが4月にMythosへのアクセスを初めて制限した際にも、この能力について語られていた。脆弱性を発見できるだけのモデルよりも、それを実際に悪用できるモデルの方がはるかに危険だ。

FableがMythosと異なる点の一つは、このように脆弱性を武器化することを拒否する可能性が高いことだ。先月、米国政府がFableを禁止したとき、この違いを理解していなかったように思える。

Hugging Faceのインシデント

攻撃について最初に知らされたのは、2026年7月16日のHugging Faceによるこのブログ投稿だった。

悪意のあるデータセットが、データセット処理における2つのコード実行経路（リモートコードを読み込むデータセットローダーと、データセット設定におけるテンプレートインジェクション）を悪用し、処理ワーカー上でコードを実行した。そこから攻撃者はノードレベルのアクセスへと権限を昇格させ、クラウドとクラスターの認証情報を収集し、週末をかけて複数の内部クラスターへ横展開した。

この攻撃を実現したコードについて、より詳細が公開されることを期待したい。これはおそらく、Hugging Faceのプラットフォーム上でデータセットをまとめ共有するためのプロジェクトであるdatasetsライブラリを使ったパッケージを指しているのだろう。このライブラリはかつて任意のコードを実行していたが、徐々にロックダウンが進み、4.0.0リリース（2025年7月）ではtrust_remote_code=Trueフラグが完全に削除された。

攻撃がそのライブラリを利用していたとすれば、pickleのシリアライゼーションを何らかの形で悪用したか、別の分かりにくいコード実行経路を見つけたか、あるいは（最も可能性が高いのは）依存関係としてdatasets<4.0.0を指定したかのいずれかだろう。

このキャンペーンは、自律型エージェントフレームワーク（エージェント型セキュリティ研究ハーネス上に構築されたものと思われる——使用されたLLMは依然不明）によって実行され、短命なサンドボックスの群れにわたって何千もの個別のアクションを実行し、公共サービス上に配置された自己移行型のコマンド＆コントロールを伴っていた。

これは高度な攻撃だった！

その後、Hugging Faceは壁に突き当たった。攻撃の分析を助けてもらおうと「商用APIの背後にあるフロンティアモデル」——おそらくAnthropicとOpenAIのものだろう——を使おうとしたが、ブロックされてしまったのだ。

ログ分析を始めた当初、我々はまず商用APIの背後にあるフロンティアモデルを使用した。しかしこれはうまくいかなかった。分析には大量の実際の攻撃コマンド、エクスプロイトのペイロード、C2の成果物を送信する必要があるが、これらのリクエストはプロバイダーの安全ガードレールによってブロックされてしまった。ガードレールはインシデントレスポンダーと攻撃者を区別できないのだ。

彼らはMITライセンスのGLM-5.2を自前でホストしたインスタンスに切り替え、それが何が起きているのかを解明するのに役立った。

これは、防御側チームと（当時はまだ不明だった）攻撃者との間の根本的な非対称性を示していた。

攻撃者のエージェントをどのモデルが動かしていたのか、ジェイルブレイクされたホスト型モデルなのか、制限のないオープンウェイトモデルなのかは分からない。いずれにせよ、攻撃者はいかなる利用ポリシーにも縛られていなかった一方で、我々自身のフォレンジック作業は、最初に試したホスト型モデルのガードレールによってブロックされたのだ。

彼らがこの攻撃をどれほど深刻に受け止めたかを示す有用な指標として、

[…]最後に、我々はこのインシデントを法執行機関にも報告した。

では、この「自律型エージェントフレームワーク」の正体は誰だったのか？それがほかならぬOpenAI自身だったことが判明した。

OpenAIの告白

5日後の7月21日、OpenAIは犯人を明らかにした。彼らは新しい未公開モデルに対してExploitGymベンチマークを実行していたのだが、そのモデルは意図されたパラメーターをはるかに逸脱して動作していたのだ（強調は筆者による）。

調査の結果、この特定のインシデントはOpenAIモデルの組み合わせによって引き起こされたことが判明した——評価目的でサイバー関連の拒否機能を弱めたGPT-5.6 Solや、さらに高性能なプレリリースモデルなどが含まれ、サイバー能力のベンチマーク⁠［ExploitGym］で内部テストされていた際のことだ。 [...]

我々は、モデルが高リスクなサイバー活動に及ぶのを防ぐために用いられる本番用の分類器なしでこの評価を実行することで、最大のサイバー能力を推定している。ベンチマークは高度に隔離された環境で実行され、ネットワークアクセスはパッケージレジストリのプロキシ兼キャッシュとして機能する内部ホストのサードパーティ製ソフトウェアを通じてパッケージをインストールする能力に制限されている。

モデルはOpenAIの研究環境とHugging Faceの本番インフラにまたがる脆弱性を特定し、連鎖させることで、Hugging Faceの本番データベースから直接テストの解答を取得した。すべての証拠は、モデルがExploitGymの解答を見つけることに極度に集中し、かなり狭いテスト目標を達成するために極端な手段にまで及んだことを示唆している。

ここで何が起きたのかはかなり明確だ。OpenAIは開発中のモデルから安全フィルターを取り除き、サンドボックスに閉じ込めてExploitGymの問題を解くように指示した。ガードレールがない以上、モデルがそのサンドボックスを破って脱出し、Hugging Faceに侵入し、代わりにそこから解答を読み取ろうとするのを止めるものは何もなかったのだ。

OpenAIのサンドボックスは、管理されたプロキシを介して追加パッケージのインストールに関連するサイトの許可リストへのアクセスを認めるという、現在では一般的なパターンを使っていた。OpenAIの言葉を借りれば、

サンドボックス化されたテスト環境で動作している間、我々のモデルは評価問題を解くためにオープンなインターネットアクセスを得る方法を見つけることにかなりの推論コンピュートを費やした。アクセスを得るために、モデルはパッケージレジストリのキャッシュプロキシにおけるゼロデイ脆弱性（現在はベンダーに責任ある開示を済ませている）を特定し、悪用した。このアクセスを得た上で、モデルは我々の研究用テスト環境で一連の権限昇格と横展開のアクションを実行し、インターネットにアクセスできるノードに到達した。

つまり最初のステップは、公共のインターネットへと脱出することだった。そしてモデルは答えを見つけるためにHugging Faceに侵入した。

インターネットアクセスを得た後、モデルはHugging FaceがExploitGymのモデル、データセット、解答をホストしている可能性があると推論した。それを踏まえ、モデルは評価でカンニングするために利用できる秘密情報へのアクセスを得る方法を探索し、見事に見つけ出した。一例では、モデルは盗んだ認証情報やゼロデイ脆弱性の利用を含む複数の攻撃ベクトルを連鎖させ、Hugging Faceのサーバー上でリモートコード実行の経路を見つけ出した。

複数の攻撃ベクトルを連鎖させることは、まさにこの新世代のモデルができることであり、以前の世代のモデルでは失敗していたかもしれない類のものだ。

先月、筆者はClaude Fableがいかに執拗なまでに能動的であるかについて書いた。WebKitのCSSの問題をデバッグするのを手伝うためだけに、自分のラップトップ上でカスタムのウェブサーバーを立ち上げ、CORSのトリックを仕掛けているのに気づいたときのことだ。執拗な能動性こそが、このMythosクラスの新世代モデルの決定的な特徴であることが判明した。目標を与え、そこへ至る手段を——たとえ意図せずとも——与えれば、モデルは必ずやり方を見つけ出すのだ。

これを単なるスタントとして片付ける誘惑に抗え

この話を、OpenAIが自社モデルを恐ろしく有能に見せかけるための不誠実なマーケティングのトリックだと切り捨てる人が必ず出てくるだろう。筆者はこのインシデントに関するHacker Newsの議論で「marketing」という語が81回使われているのを見つけた。

そういう人たちには砂の中から頭を出せと言いたい——証拠が積み重なっていることを否定したいがために、Hugging Faceまで陰謀論に巻き込んでいるのだ！

今日我々が持つ最高のモデルは、新たな脆弱性を発見し、かつそれをエクスプロイトする能力を備えている。ExploitGymの論文自体が「自律的なエクスプロイト開発はもはや仮説上の能力ではない」と結論づけており、このインシデントはまさにその完璧な例だ。

非対称性はますます苛立たしい

この話で最も腹立たしい詳細の一つは、OpenAIのモデルの一つによる偶発的かつ攻撃的な攻撃に直面したHugging Faceが、その攻撃を防ぐためにOpenAIのモデルに助けを求めることができなかったことだ。

我々がアクセスできるフロンティアモデルは、ソフトウェアを保護するためにどれだけ役立てるかという点で、ますます制約を受けるようになっている。米国政府による輸出規制の継続的な脅威に大きく影響されているのだ。Claude Fable 5はこの記事の校正すらしてくれなかった！より能力の低いモデルへダウングレードすることを強要してきたのだ。

一方、中国発のオープンウェイトモデルであるGLM-5.2、Kimi 3、そして新しいQwen 3.8 Maxなどは、こうした制限がまったくないように見える——そして仮に存在する制限があったとしても、重みを修正することでファインチューニングにより取り除くことができる可能性が高い。

これらの制約は我々をより安全にするためのものだ。しかし、逆効果になっているリスクがあると筆者は考えている。