2025 年 5 月，我認識了在 OpenAI 負責國家安全政策、當時正在思考如何為模型可能大幅協助攻擊者製造大流行病的未來做準備的 Yo Shavit（尤·夏維特）。我們通了一次電話，我把談話筆記分享給團隊後，他們的主要回應是：「或許，一開始就別打造那種做得到這種事的模型？」

在許多層面上，這個說法很公允：OpenAI 持續推進生物能力的前沿，確實讓 SecureBio 試圖解決的許多問題變得更加棘手。但就算 OpenAI 停下來，問題也不會就此解決：其他公司也在快速推進，經濟誘因也強烈偏向能力快速提升。無論如何，讓世界對大流行病更具韌性都必須是高度優先的事，尤其是在模型協助處理生物事務的能力不斷提升的情況下。

不過，當我思考這些初步對話可能發展成什麼時，我最主要的顧慮在於，這是否會（a）削弱 SecureBio 獨立評估與批評 OpenAI 成果的能力，或（b）因降低模型開發者改善防護措施的動機而讓世界變得更不安全。我認為這兩點都有道理，下文會進一步說明，但我仍覺得非常值得與尤·夏維特談談我們可以如何合作。

我向他說明，我們正在打造一套early warning system(預警系統)，用來標記疫情爆發，特別是那些經改造的、否則可能在被偵測到之前就已廣泛傳播的疫情。我也說明了 metagenomic sequencing(宏基因組定序)如何讓我們在不預先指定目標序列的情況下，看見樣本中存在哪些核酸序列（DNA 與 RNA），以及我們如何在廢水和鼻拭子上進行試點。接下來的幾個月裡，我們討論了加速這項工作的機會，他也為我們引介了 OpenAI 共同創辦人 Wojciech Zaremba（沃伊切赫·扎倫巴），而尤·夏維特與沃伊切赫·扎倫巴隨後都離開了 OpenAI PBC（營利事業體），轉往 OpenAI Foundation（OAIF）。我們以他們的新身分持續洽談，這些討論加上大量的盡職調查，最終促成了我們今天宣布的 1,720 萬美元 OAIF 補助。我對這筆補助感到非常興奮，它將讓我們擴大監測系統、大幅縮短週轉時間，[1]並整體降低某些病原在被偵測前就廣泛傳播的風險。

這又回到我前面提到的兩項顧慮。就（a）獨立性而言，SecureBio 有兩個部門：Detection 與 AI。這筆補助資助的是 Detection，而 SecureBio 的 AI 部門則負責評估多家公司（包括 OpenAI）的模型。這筆補助並未賦予 OpenAI 或 OAIF 任何正式權力，來控制 SecureBio 任何人對任何模型的公開發言。這對我們很重要，對 OAIF 也同樣關鍵：尤·夏維特非常明確地表示，他們無意影響 SecureBio AI 的工作，並希望審視我們的政策以確保其足夠完備。

儘管如此，我們仍應留意誘因問題。在我看來，OAIF 似乎是自主做決策，但這兩個組織的連結遠超過共用「OpenAI」這個名稱：OpenAI Foundation 的捐贈基金持有 OpenAI PBC 約四分之一的股權，且兩者的董事會幾乎完全相同。SecureBio 的 AI 部門是否可能為了增加 OAIF 未來再資助 Detection 的機會，而在批評 PBC 時手下留情？

SecureBio 已有系統性的管控措施來緩解利益衝突，包括分開的領導層、預算與交付成果，AI 團隊也已就其原則與利益衝突政策撰寫了公開文件。但我認為最有力的證據來自 4 月，當時 AI 團隊正在檢視 GPT 5.5。那時這筆補助正處於我認為最敏感的階段：我們已為此努力數月，且獲得非常正面的訊號，但仍未得到確切答覆。這在內部是公開資訊，AI 部門的主管也知情，但從未有人質疑這會影響 AI 團隊的發表內容，而他們在評估報告中記錄了一系列疑慮。最主要的問題是，在多項基準測試中，模型看似會以迂迴方式拒絕危險問題，實際上卻會透過提供高度可轉移的相關解法，繼續提供所要求的資訊。在這些基準測試上，防護措施形同虛設，而 AI 團隊仍在補助案懸而未決時就發布了評估結果。

然而，這種對誘因的顧慮並非因這筆補助才新出現。當 AI 部門評估某家公司的模型時，通常是由該公司支付評估費用。例如，上述 GPT 5.5 的評估費用就是由 OpenAI PBC 支付給 SecureBio。這在 AI 評測中很常見，而且比這筆補助的關聯更緊密，因為在那種情況下，並沒有像 AI 與 Detection 分工那樣，將評估者與財務誘因隔開。

即便如此，這仍是需要持續努力才能維持標準的領域，如果有任何跡象顯示對 Detection 的資助被當作施壓我們 AI 團隊進行評測的籌碼，我會公開指出，並動用我所擁有的一切影響力來阻止——甚至包括辭職。但我並不預期會發生這種情況，我認為真正的擔憂是那種微妙的偏移——在沒有人明確提出要求的情況下，不自覺地變得更寬容。這同樣也是來自 Anthropic 員工資金的顧慮，因為 SecureBio 同樣會評估 Anthropic 的成果（例）。所以，如果你發現 SecureBio 發布的內容對 OpenAI 或 Anthropic 有不公允的正面評價，或是為了過度矯正這些誘因而出現不公允的負面評價，請務必提出來。

至於（b），問題在於這是否會讓模型開發者承擔更多風險。如果我們讓他們因為知道防禦更強而晚上睡得更安穩，他們白天是否就會更快速地向前推進？我希望我們能成為前沿公司內部防護措施的補充，但如果我們反而成了替代品呢？

一個足以抵禦災難性生物風險的世界——在那裡，無論模型願意解釋什麼都不再重要，因為現實世界的防護已能完全取代模型的防護措施——將會是一個非常理想的境地。我們與許多其他計畫正朝著這個世界努力！但要抵達那裡，還有大量工作要做。令人擔憂的是，AI 公司可能誤以為風險已降低，因而在風險仍高到令人無法接受時就放鬆其防護措施。

我認為這個方向上的效應確實存在，但作為直接的替代品，其影響相較於推動企業投資防護措施的聲譽、法律（責任歸屬與指令風險）與道德力量，實屬微小。這筆補助將讓我們能更早標記攻擊事件，但遠不足以緩解攻擊的全部衝擊，且僅涵蓋通往大規模生物危害的數條路徑之一。讓世界對災難性生物風險更具韌性所帶來的第一階正面效應，非常有可能大於削弱防護措施所帶來的第二階效應；如果我的想法相反，那就意味著我應該去做或資助那些會明顯增加風險的工作（例如病毒獵捕？），以促使他人更積極行動，但那似乎是個糟糕的主意。

另外一個相關但獨立的角度是「政治掩護」——PBC 可能會拿這筆補助（儘管實際上是由 OAIF 提供）來聲稱自己已經有所作為，從而減輕一些外部壓力。若這種壓力的減輕讓他們得以迴避那些本可更有效降低風險、卻成本高昂的行動，那就是一種損失，也是我對這筆補助最大的顧慮。慈善資金不應成為輕率行事的許可證，如果他們以此作為藉口，我們不應接受。請持續對 OpenAI 以及所有其他前沿公司施壓，要求他們放慢腳步，並優先降低其工作導致災難的風險。然而，比起對企業施壓，更重要的是倡議周延的 AI 監管：這是一個協調難題，個別公司放慢腳步並不符合其自身利益，儘管這符合全人類的整體利益。

整體權衡之下，我認為這筆補助是非常正面的，相較於擔心我們的努力會讓 OpenAI 和其他公司放鬆自身的工作，我更擔心的是我們無法以最好的方式推進這項工作。

[1] 這終於讓我得以回答四年前提出的一個問題——那是在我離開 Google 加入這個計畫的幾個月前所問的。