2025年5月，我见到了Yo Shavit（约·沙维特），他当时在 OpenAI 从事国家安全政策工作，正在思考如何为一个模型能够切实协助攻击者制造大流行病的未来做好准备。我们通了一次电话，当我把笔记分享给团队时，他们的主要反应是：“也许应该先从不去制造能做到这一点的模型开始？”

从很多方面来说，这个反应是合理的：通过持续推动生物能力的前沿，OpenAI 的行为正在让 SecureBio 试图解决的许多问题变得更糟。但即使 OpenAI 停下来，问题也不会解决：其他公司也在快速推进，而且经济激励强烈倾向于快速提升能力。无论如何，让世界对大流行病更有韧性都必须是高优先级事项，尤其是考虑到模型在帮助人们进行生物学研究方面的能力正日益增强。

然而，当我思考我们的初步对话可能演变成什么时，我主要的担忧是，这是否会 (a) 损害 SecureBio 独立评估和批评 OpenAI 工作的能力，或者 (b) 通过削弱模型开发者改进安全防护措施的动力而让世界变得不那么安全。我确实认为这两点都有一定道理，下文会进一步展开，但与 Yo 谈谈我们可以如何合作似乎非常值得。

我解释了我们如何构建一个用于标记疫情暴发的早期预警系统，尤其是那些否则可能在被发现之前就广泛传播的工程化疫情。我描述了宏基因组测序如何让你看到样本中存在哪些核酸序列（DNA 和 RNA），而无需提前选择要寻找哪些序列，以及我们如何在废水和鼻拭子上试点这项技术。在接下来的几个月里，我们讨论了加速我们工作的机会，他把我们介绍给了 OpenAI 联合创始人 Wojciech Zaremba（沃伊切赫·扎伦巴），随后 Yo 和 Wojciech 都离开了 OpenAI PBC（营利性实体），加入了 OpenAI Foundation（OAIF）。我们继续以他们的新角色与他们交谈，这些讨论加上大量的尽职调查，最终促成了我们今天宣布的1720万美元的 OAIF 资助。我对这笔资助感到无比兴奋，它将使我们能够扩展监测系统、大幅缩短周转时间 [1]，并总体上降低某种东西在被发现之前就广泛传播的风险。

这又回到了我上面提到的两个担忧。关于 (a)，即独立性：SecureBio 有两个部门——Detection 和 AI。这笔资助资助的是 Detection，而 SecureBio 的 AI 部门评估来自许多公司的模型，包括 OpenAI。这笔资助不会让 OpenAI 或 OAIF 对 SecureBio 任何人公开发表关于任何模型的言论拥有任何正式控制权。这对我们很重要，但对 OAIF 同样关键：Yo 非常明确地表示，他们不想影响 SecureBio AI 的工作，并且希望审查我们的政策以确保其足够健全。

话虽如此，我们应该关注激励问题。虽然在我看来 OAIF 是在做自己的决策，但这两个组织之间的联系非常紧密，远不止共享“OpenAI”这个名字：OpenAI Foundation 的捐赠基金持有 OpenAI PBC 约1/4的股份，而且两者的董事会几乎完全相同。SecureBio 的 AI 部门会不会为了增加未来从 OAIF 获得 Detection 更多资金的机会，而在批评 PBC 时手下留情？

SecureBio 有系统性机制来缓解利益冲突，包括独立的领导层、预算和交付成果，而且 AI 团队还发布了关于其原则和利益冲突政策的公开文档。但我认为最有力的证据来自4月份，当时 AI 团队正在评估 GPT 5.5。那笔资助正处于我认为最敏感的阶段：我们已经为此工作了数月，收到了非常积极的信号，但还没有得到答复。这在内部是公开的，AI 领导层也知情，但从没有人质疑这会影响 AI 团队发布的内容，而且在他们的评估中，他们记录了一系列担忧。其中最大的一点是，在多个基准测试中，该模型表面上会通过转移话题来拒绝一个危险的问题，但实际上它会接着提供一个高度可迁移的相关解决方案，从而给出所要求的信息。在这些基准测试中，安全防护措施形同虚设，而 AI 团队在资助尚待落实期间就发布了他们的评估报告。

不过，这种对激励问题的关注并非因这笔资助而起。当 AI 部门评估某家公司的模型时，通常由该公司支付评估费用。例如，上述 GPT 5.5 评估的费用就是由 OpenAI PBC 承担的。这在 AI 评估中很常见，而且这种联系比这笔资助更紧密，因为没有 AI-Detection 部门的隔离来使评估者免受经济激励的影响。

尽管如此，维护标准仍需要持续的努力，如果有任何迹象表明 Detection 的资助被用作向我们的 AI 团队施压以影响评估的手段，我会公开说出来，并动用我拥有的一切影响力去阻止它（直至包括辞职）。但我并不预期这种情况会发生，我认为真正的担忧是一种微妙的漂移——在没有任何人明确要求的情况下，逐渐变得更加宽容。接受Anthropic 员工的资助也存在同样的担忧，因为 SecureBio 也评估 Anthropic 的工作（例）。所以，如果你看到 SecureBio 发布任何对 OpenAI 或 Anthropic 不公平地正面、或为纠正这些激励而不公平地负面的内容，请指出来。

关于 (b)，问题是这是否会让模型开发者承担更多风险。如果我们帮助他们晚上睡得更安稳，知道防御更强大了，他们白天会不会只是更快地推进？我希望我们成为前沿公司内部安全防护措施的补充，但如果我们变成了替代品呢？

一个对灾难性生物风险足够有韧性的世界——在这个世界里，模型愿意解释什么并不重要，因为现实世界的防护已经完全替代了模型的安全防护措施——将是一个美妙的地方。我们和许多其他项目都在朝那个世界努力！但要到达那里还有大量工作要做。令人担心的是，当风险仍然高得不可接受时，AI 公司却认为风险较低，从而放松了它们的安全防护措施。

我认为这个方向上的担忧是真实存在的，但作为直接替代品而言，与推动公司投资于安全防护措施的声誉、法律（责任 + 监管指令的风险）和道德力量相比，它的影响很小。这笔资助将使我们能更早地发现攻击，但远不足以减轻一次攻击的全部影响，而且只覆盖了通往大规模生物危害的几条路径之一。让世界对灾难性生物风险更有韧性的一阶正面效应，极有可能超过削弱安全防护措施的二阶负面效应；如果我的判断相反，那就意味着我应该去做或资助那些明显增加风险的工作（比如猎杀病毒？）以激励其他人挺身而出，而这听起来是个糟糕透顶的主意。

另外，与此相关地，还有一个“政治掩护”的角度：PBC 可能会拿这笔资助说事（尽管它是由 OAIF 提供的），表明他们在做事情，从而卸掉一些外部压力。如果这种压力的减轻让他们得以避免采取那些更能降低风险的高成本行动，那就是一种损失，这也是我对这笔资助最大的担忧。慈善资助不应该成为鲁莽行事的许可证，如果他们把它当作借口，我们不应接受。请继续向 OpenAI 以及所有其他前沿公司施加压力，促使它们放慢脚步，优先降低其工作导致灾难的风险。然而，比向公司施压更重要的是倡导深思熟虑的 AI 监管：这是一个协调问题，放慢速度不符合任何单个公司的利益，尽管它符合人类整体的利益。

总体而言，我认为这笔资助是非常积极的，相比之下，我更担心我们无法把这项工作推进到最好，而不是担心我们的努力会让 OpenAI 和其他公司在自己的工作上有所松懈。

[1] 这让我终于能够回答我在四年前提出的一个问题，那是我在辞去 Google 的工作加入该项目前几个月的事。