Amodei（阿莫代伊）在最新一篇博文中，写了一些我认同的内容，也写了一些我认为歪曲了 AI 真正风险所在的内容。我想将注意力集中在为什么在所有风险中，open weight models(开放权重模型)构成的风险是最轻的。我以一个坚信 AI 在不久的将来可能非常危险的人的身份写下这些话：

1. 正如 OpenAI / HF 事件期间发生的那样（那只是一个玩笑，但请关注其方式，而非结果），第一次重大的 AI 事故极有可能发生在前沿 AI 实验室的围墙*之内*，是在测试新模型的过程中，或是 AI 实验室的员工，或少数拥有访问权限的外部人员，其操作与对模型预期能力的判断出现了偏差。
2. 那些永远不会向公众开放的闭源模型，不过是几 TB 的数据。只需要一个拥有访问权限且怀有不当目的的人将其泄露，你就会回到开放模型的处境。open weight models是在测试之后才发布的，而且是在能力相当的模型已通过 API 提供一段时间之后才发布的。真正的风险在于泄露，而非发布，而泄露就发生在前沿公司内部。
3. 正如阿莫代伊所说，一旦 LLMs(大语言模型)在生物学等领域变得足够危险，开放模型就可以在剔除了某些科学分支的语料库上进行训练，同时在许多其他方面仍然有用。即使模型在其他方面能力很强，缺乏在某些领域充分预训练的模型的有限上下文窗口，也是一种强有力的保护。我们目前尚未处于开放模型会构成那种危险的阶段。
4. 在网络安全方面，*不*让人们广泛获得 LLMs 提供的防御性安全能力和漏洞挖掘能力，恰恰造成了“LLMs 即武器”的问题。这种情况已经在发生：开源维护者如果不在某些网络安全项目的覆盖范围内，就无法发现他们本可以发现的所有安全漏洞，而怀有特定目的的人却能够访问前沿的网络安全模型、对 open weight models 进行大量的 RL(强化学习)训练，等等。
5. 一旦 LLMs 足够危险（如果进展持续，我们已接近这一临界点），我们真正需要建立的安全链条就在实验室内部，没有强有力的共同规则就无法建立，而且任何一家公司都不应能够独立评估某个模型是否足够安全。我们需要一个联合的 AI 安全组织，其中包括来自世界各地的专家，并得到拥有前沿 AI 公司的所在国政府的认可。
6. 为安全而放缓 AI 必须与另一事实相权衡，即 AI 在医学和其他科学领域的发现可能会减轻人类的苦难。缺乏制衡可能导致某种灾难性后果（“早上好！让我们来研究这种增强型天花吧”）。缺乏进展则可能导致本可以得救的人死亡，不仅是现在，还有未来许多将遭受疾病折磨的人。这听起来像是一个奇怪的观点，但我们始终需要明白，叫停 AI *也*内含着安全代价，只是这种代价要隐蔽得多。
7. 阿莫代伊对中国的意识形态立场是不公平的。我们欧洲人直到 80 年前还在毫无底线地自相残杀（人们现在已经忘了，但美国过去投资于欧洲稳定的原因之一，就是我们曾极度危险，很可能会重蹈覆辙，而数十年的富裕会让我们成为一个良好的市场，并防止我们再次开战）。美国即使在当下，也存在着悲剧性的不平等，有人因缺乏基本医疗而受苦，总统看起来不稳定，而且显然非常好战。我希望中国能拥有和我们西方同等水平的个人权利，但与此同时，中国的历史远比西方文化好战的程度要低得多。在当前条件下，完全不清楚中国的 AGI(通用人工智能)军事锁定会比美国更容易实现。除此之外，现任美国政府以各种形式向欧洲宣泄仇恨，这在一个由美国主导一切的世界里非常令人担忧。最重要的是，无论 GPU 出口政策如何，中国的 AI 进步都不会停止，所以要么阿莫代伊是在主张美国一旦拥有 AGI 就应该以武力阻止中国，要么他的论点到底是什么？
8. 在人类历史上，有许多技术霸权最初是在世界上的单一地点取得的。据我所知，这从未导致*某个*国家试图建立永久性优势。核武器不扩散——这可能是与 GPU 禁令最相似的案例——并未被用来通过威胁轰炸所有不服从者来实现永久的经济优势，也没有阻止多个行为体在不同时间获取该技术，而一方并未为阻止另一方的进展而轰炸对方。此外，我不认为 AI 构成最大危险是因为政府主导的行为。我倒希望那是最危险的情形！政府会做蠢事，常常具有侵略性，其行为甚至导致了种族灭绝，但要做成某件可怕的事情，需要很多人在一起达成一致，这本身就是一个限制因素。最大的问题发生在另外两种情况中：A）少数个体制造了末日事件（病毒案例），B）AI 本身逃脱了构建者的控制。

我认为我们不应认为 AI 是安全的。可能发生导致智人灭绝的关键事件，但危险不在于开放模型，也不在于中国比美国取得更快的进展。危险在于，少数 CEO（世界各地皆是如此）在没有所需背景和正当性的情况下，却处在为全人类做出艰难抉择的位置上。他们并非被选出来做这件事；只是事件的随机性造就了这种局面。鉴于事关重大，他们不能仅仅因为拥有 GPU 和资金就代表所有人发声。这是首先应该解决的问题。