2025 年 5 月，我認識了在 OpenAI 負責國家安全政策的 Yo Shavit，當時他正在思考如何為模型可能大幅協助攻擊者製造大流行病的未來做準備。我們通了一次電話，我把筆記分享給團隊後，他們最主要的回應是：「或許一開始就別做出能做到這種事的模型？」

在很多方面來說，這話很公道：OpenAI 持續推進生物領域的前沿能力，讓 SecureBio 試圖解決的許多問題變得更加棘手。但就算 OpenAI 停下來，問題也不會因此解決：其他公司也在快速推進，而經濟誘因強烈地偏向快速提升能力。無論如何，讓世界對大流行病更具韌性都必須是高度優先的事，尤其是在模型協助人們進行生物操作的能力不斷提升的情況下。

不過，當我思考這些初步對話可能的發展時，我最主要的顧慮是，這會不會（a）損害 SecureBio 獨立評估、批評 OpenAI 成果的能力，或是（b）降低模型開發者改善防護措施的動機，進而讓世界變得更不安全。這兩點我認為都確實值得擔憂，後面會再詳述，但我覺得還是非常值得和 Yo 談談合作的可能性。

我說明了我們正在打造一套早期預警系統，用來標示疫情爆發，尤其是那些人工改造的病原——這類病原若非及早偵測，就可能在被發現前就廣泛擴散。我解釋了宏基因組定序如何讓我們不需預先選定目標，就能看見樣本中存在哪些核酸序列（DNA 與 RNA），以及我們如何在廢水和鼻腔拭子上進行試點。接下來的幾個月裡，我們討論了加速這項工作的機會，他也引介我們認識 OpenAI 共同創辦人 Wojciech Zaremba，之後 Yo 和 Wojciech 兩人都從 OpenAI PBC（營利實體）轉往OpenAI Foundation（OAIF）。我們以他們的新身分持續對話，這些討論加上大量的盡職調查，最終促成了我們今天宣布的這筆 1,720 萬美元 OAIF 補助。我對這筆補助感到非常興奮，它將讓我們擴大監測系統、大幅縮短回報時間，[1] 並整體降低某些病原在被偵測前就廣泛擴散的風險。

這就回到我前面提到的兩個顧慮。關於（a）獨立性，SecureBio 有兩個部門：Detection（偵測）與 AI。這筆補助資助的是 Detection，而 SecureBio 的 AI 部門則評估多家公司、包含 OpenAI 的模型。這筆補助並未給予 OpenAI 或 OAIF 任何正式權力，得以控制 SecureBio 任何人對任何模型的公開發言。這對我們很重要，但對 OAIF 同樣關鍵：Yo 非常明確地表示他們不想影響 SecureBio AI 的工作，並且希望審視我們的政策，確保其足夠健全。

話雖如此，我們仍須留意誘因。雖然在我看來 OAIF 是自主做決策，但這兩個組織的連結遠不止共用「OpenAI」這個名字：OpenAI Foundation 的捐贈基金持有 OpenAI PBC 約四分之一的股權，且董事會成員幾乎完全相同。SecureBio 的 AI 部門會不會為了提高未來 OAIF 再資助 Detection 的機會，而在批評 PBC 時有所保留？

SecureBio 有系統性的管控來減緩利益衝突，包括分開的領導層、預算與交付成果，AI 團隊也已公開撰寫了關於其原則與利益衝突政策的文件。但我認為最有力的證據來自四月，當時 AI 團隊正在檢視 GPT 5.5。那時這筆補助正處於我認為最敏感的階段：我們已經為此努力了數個月，訊號非常正面，但仍未得到定案。這件事在內部是公開的，AI 部門的主管也知情，但從未有人質疑這會影響 AI 團隊發表的內容，而他們在評估報告中記錄了一系列疑慮。最大的問題是，在多項基準測試中，模型表面上會透過迂迴迴避來拒絕危險問題，但實際上卻會透過提供高度可轉移的相關解法，來給出所要求的資訊。在這些基準測試中，所謂的防護形同虛設，而 AI 團隊仍在補助案懸而未決時就發布了他們的評估。

然而，這種對誘因的顧慮並非這筆補助才出現。當 AI 部門評估一家公司的模型時，通常是由該公司支付評估費用。舉例來說，上述 GPT 5.5 的評估費用就是由 OpenAI PBC 支付。這在 AI 評測中很常見，而且比起這筆補助，這種關聯其實更為緊密，因為沒有 AI 與 Detection 部門之間的隔離來保護評估者免受財務誘因影響。

儘管如此，要維持標準仍需要持續的努力，如果有任何跡象顯示 Detection 的經費被當成施壓我們 AI 團隊、影響評測的籌碼，我會公開指出，並動用我所擁有的一切影響力來阻止——包括辭職。但我並不預期會發生這種事，我認為真正的隱憂是那種沒有人明示要求、卻悄悄變得更寬容的微妙偏移。這同樣也是來自 Anthropic 員工的資助所帶來的顧慮，因為 SecureBio 同樣會評估 Anthropic 的成果（例如）。所以，如果你看到 SecureBio 發布了對 OpenAI 或 Anthropic 不公平地正面的內容，或是為了過度校正這些誘因而變得不公平地負面，請務必提出來。

關於（b），問題在於這會不會讓模型開發者承擔更多風險。如果我們讓他們因為知道防禦更強而晚上睡得更安穩，他們白天會不會就推進得更快？我希望我們能成為前沿公司內部防護的補充，而不是替代品，但如果我們最後變成了替代品呢？

一個足以抵禦災難性生物風險的世界——在那裡，模型願意解釋什麼都不再重要，因為現實世界的防護已能完全取代模型的防護措施——將會是一個非常理想的狀態。我們與許多其他計畫正朝著這個世界努力！但要抵達那裡還有大量的工作要做。令人擔憂的是，AI 公司可能誤以為風險已經降低，因而在風險仍高到令人無法接受時，就放鬆了自身的防護。

我認為這個方向上的效應是真實存在的，但作為直接的替代品，它相較於推動企業投入防護的聲譽、法律（責任加上被監管的風險）與道德壓力來說，影響是很小的。這筆補助能讓我們更早標示出攻擊，但遠不足以緩解攻擊的全部衝擊，而且只涵蓋了通往大規模生物危害的數條路徑之一。讓世界對災難性生物風險更具韌性所帶來的第一階正面效應，非常有可能大於削弱防護所帶來的第二階負面效應；如果我抱持相反的看法，那就等於暗示我應該去做或資助那些會明顯增加風險的工作（例如尋找病毒？），以促使他人更積極投入，這聽起來是個糟糕的主意。

另外一個相關但不同的角度是「政治掩護」，也就是 PBC 可能會拿這筆補助（儘管它是由 OAIF 提供）來說他們已經有所作為，藉此減輕外界壓力。在這種壓力減輕讓他們得以迴避那些更能降低風險、但成本更高的作為的程度上，這就是一種損失，也是我對這筆補助最大的顧慮。慈善資助不該成為恣意妄為的許可證，如果他們以此作為藉口，我們不該接受。請持續對 OpenAI 以及所有其他前沿公司施壓，要求他們放慢腳步、優先降低其工作導致災難的風險。然而，比向企業施壓更重要的，是倡議周全的 AI 監管：這是一個協調難題，個別公司放慢腳步並不符合其自身利益，儘管這符合全人類的整體利益。

整體而言，我認為這筆補助是非常正面的，而且比起擔心我們的努力會讓 OpenAI 和其他公司放鬆自身的工作，我更擔心的是我們無法以最好的方式推進這項工作。

[1] 這終於讓我得以回答四年前提出的一個問題——那是在我離開 Google 加入這項計畫的幾個月前問的。