2025年5月，我认识了当时在 OpenAI 负责国家安全政策的 Yo Shavit，他在思考如何为这样一个未来做准备：模型可能会在制造大流行病方面为攻击者提供实质性的帮助。我们通了一次电话，我把交流纪要分享给团队后，大家的主要反应是：“那干脆一开始就别做能干这种事的模型，不就行了？”

在很多方面，这个说法是有道理的：OpenAI 持续推动生物能力的前沿，确实让 SecureBio 致力于解决的许多问题变得更糟。但即便 OpenAI 停下来，问题也不会解决：其他公司也在快速推进，经济激励强烈地推动着能力的快速提升。无论如何，让世界对大流行病更具韧性都必须是高度优先的事项，尤其是在模型的生物学辅助能力不断提升的背景下。

然而，当我思考这些初步交流可能会发展成什么时，我最主要的顾虑是，这是否会（a）损害 SecureBio 独立评估和批评 OpenAI 工作的能力，或（b）通过削弱模型开发者改进安全防护的动力而让世界变得更不安全。这两点我认为都有一定道理，下文会进一步展开，但我还是觉得非常值得和 Yo 探讨合作的可能性。

我向他介绍了我们正在构建的早期预警系统，用于及早发现疫情暴发，尤其是那些可能在被发现前就已广泛传播的人工改造病原体，它们否则可能会在被发现前就广泛传播。我解释了宏基因组测序如何让我们无需预先选定目标，就能看到样本中存在哪些核酸序列（DNA 和 RNA），以及我们如何在废水和鼻拭子样本上试点这项技术。接下来的几个月里，我们讨论了加速这项工作的机会，他把我们介绍给了 OpenAI 联合创始人 Wojciech Zaremba，随后 Yo 和 Wojciech 都离开了 OpenAI PBC（营利性实体），加入了OpenAI 基金会（OAIF）。我们以他们的新身份继续交流，经过这些讨论和大量尽职调查，最终促成了我们今天宣布的这笔 1720 万美元的 OAIF 资助。我对这笔资助感到非常兴奋，它将使我们能够扩大监测系统，大幅缩短检测周转时间，[1] 并总体上降低某种病原体在被发现前就广泛传播的风险。

这就回到了我上面提到的两个顾虑。关于（a）独立性，SecureBio 分为两个部门：检测（Detection）和 AI。这笔资助只支持检测部门，而 SecureBio 的 AI 部门则评估来自多家公司的模型，包括 OpenAI。这笔资助并未赋予 OpenAI 或 OAIF 对 SecureBio 任何人就任何模型公开发表言论的正式控制权。这对我们很重要，对 OAIF 同样关键：Yo 非常明确地表示，他们不想影响 SecureBio AI 的工作，并希望审查我们的相关制度，以确保其足够健全。

话虽如此，我们仍需关注激励机制。虽然在我看来 OAIF 是在独立做决策，但这两个组织之间的联系远不止共用“OpenAI”这个名字：OpenAI 基金会的捐赠基金持有 OpenAI PBC 约四分之一的股份，而且两者的董事会几乎完全相同。SecureBio 的 AI 部门会不会为了增加 OAIF 未来给检测部门更多资助的可能性，而在批评 PBC 时有所保留呢？

SecureBio 已建立系统性的管控来缓解利益冲突，包括独立的领导层、预算和交付成果，AI 团队也已就其原则和利益冲突政策发布了公开文件。但我认为最有力的证据来自 4 月份，当时 AI 团队正在评估 GPT 5.5。这笔资助正处于我看来最敏感的阶段：我们已经为此努力了数月，收到了非常积极的信号，但仍未得到最终答复。这在内部是公开信息，AI 部门的负责人也知情，但从未有人质疑这会影响 AI 团队的发布内容，在他们的评估中，团队记录了一系列问题。最主要的问题是，在多项基准测试中，模型表面上会通过转移话题来拒绝危险提问，但实际上却会通过提供一个高度可迁移的相关解决方案来给出所要求的信息。在这些测试中，安全防护形同虚设，而 AI 团队在资助仍悬而未决时就发布了这份评估。

不过，这种对激励机制的担忧并非这笔资助才带来的。当 AI 部门评估某家公司的模型时，通常由该公司支付评估费用。例如，上述对 GPT 5.5 的评估费用就是由 OpenAI PBC 承担的。这在 AI 评估中很常见，而且相比这笔资助，这种联系更为直接，因为没有检测部门与 AI 部门之间的隔离来缓冲评估者面临的财务激励。

尽管如此，坚守标准需要持续的努力，如果有任何迹象表明对检测部门的资助被用作向我们的 AI 团队在评估上施压的筹码，我会公开说明，并动用我所拥有的一切影响力去制止它（包括辞职）。不过我并不预期会出现这种情况，我认为真正的风险在于一种微妙的偏移——在没有人明确提出任何要求的情况下，不自觉地变得更宽容。这同样适用于来自 Anthropic 员工的资助，因为 SecureBio 也评估 Anthropic 的工作（例）。所以，如果你看到 SecureBio 发布了对 OpenAI 或 Anthropic 不公正的正面评价，或是为了过度纠正这些激励而做出不公正的负面评价，请一定指出来。

关于（b），问题在于这是否会让模型开发者承担更多风险。如果我们让他们晚上睡得更安稳，因为知道防御更强了，他们白天会不会就推进得更快？我希望我们能成为前沿公司内部安全防护的补充，而不是替代。

一个足以抵御灾难性生物风险的世界——在那里，无论模型愿意解释什么都不重要，因为现实世界的防护已经完全可以替代模型层面的安全防护——将是一个非常理想的世界。我们和许多 其他 项目正在为此努力！但要实现这一目标还有大量工作要做。令人担心的是，AI 公司会误以为风险已经降低，因而在风险仍处于不可接受的高位时就放松了自身的安全防护。

我认为这种效应在方向上是存在的，但作为直接的替代，其影响与推动企业投入安全防护的声誉、法律（责任追究加上被监管的风险）和道德力量相比是很小的。这笔资助能让我们更早地发现攻击，但远不足以缓解一次攻击的全部影响，而且它只覆盖了通往大规模生物危害的若干路径之一。让世界对灾难性生物风险更具韧性所带来的一阶正面效应，很大概率上会超过削弱安全防护所带来的二阶负面效应；如果我认为反过来成立，那就意味着我应该去做或资助那些明显增加风险的工作（比如搜寻病毒？）来激励他人加强防范，这显然是个糟糕的主意。

另外还有一个相关但独立的角度，即“政治掩护”——PBC 可能会拿这笔资助（尽管它实际来自 OAIF）来宣称自己已经有所作为，从而缓解一部分外部压力。如果这种压力的减轻让它们得以回避那些本可更有效降低风险、但成本更高的举措，那就是一种损失，也是我对这笔资助最大的顾虑。慈善资助不应成为鲁莽行事的通行证，如果它们以此作为借口，我们不应接受。请继续向 OpenAI 以及所有其他前沿公司施压，要求它们放慢脚步，优先降低其工作导致灾难性后果的风险。不过，比向企业施压更重要的，是推动深思熟虑的 AI 监管：这是一个协调难题，单靠任何一家企业都没有放慢的动力，尽管从全人类的整体利益来看，放慢是必要的。

总体权衡下来，我认为这笔资助是非常积极的，与其担心我们的努力会让 OpenAI 及其他公司放松自身的工作，我更担心我们无法以最好的方式推进这项工作。

[1] 这也让我终于能够回答四年前提出的一个问题——那是在我离开谷歌加入这个项目前几个月问的。