Amodei 在他最新的部落格文章中寫了一些我認同的觀點，也寫了一些我認為誤判了 AI 真正風險所在的內容。我想聚焦說明，為什麼在所有風險當中，開放權重模型反而是最輕微的一種。寫下這些話的我，是個深信 AI 在不久的將來可能變得非常危險的人：

1. 就像 OpenAI / HF 事件中發生的那樣（那件事只是個玩笑，但請關注的是發生的模式，而非結果），第一次嚴重的 AI 事故極有可能就發生在前沿 AI 實驗室的高牆*之內*——在測試新模型的時候，或是實驗室員工、少數有存取權限的外部人士，做了與模型預期能力不相稱的錯誤操作時。
2. 那些永遠不會對外公開的封閉式模型，也不過就是幾 TB 的資料而已。要洩漏一個模型，只需要一個有存取權限且心懷不軌的人，你就會回到與開放模型相同的處境。開放模型是在測試*之後*才發布的，而且是在能力相當的模型已經透過 API 提供一段時間之後才釋出。真正的風險是洩漏，而非發布，而洩漏就發生在這些前沿企業的內部。
3. 如同 Amodei 所說，一旦 LLM 在生物等領域危險到一定程度，開放模型可以在剔除了特定科學分支的語料庫上進行訓練，同時在其他許多用途上依然保持有用。一個在特定領域缺乏扎實預訓練的模型，其有限的知識範疇本身就是一道強大的防護，即使該模型在其他方面非常強大也是如此。我們目前還沒有到開放模型能構成那種危險的地步。
4. 就資安的脈絡而言，*沒有*讓大家廣泛取得 LLM 所能提供的防禦性安全與漏洞探測能力，恰恰就製造了「LLM 作為武器」的問題。這已經在發生了：開源專案的維護者，如果沒有加入某些資安計畫，就無法找出本來可以找到的所有安全漏洞，而別有用心的人卻能夠取得前沿的資安模型、對開放權重模型進行大量的 RL 訓練等等。
5. 一旦 LLM 危險到一定程度（如果照現在的進展持續下去，我們已經接近這個臨界點），我們真正需要建立的安全防線是在實驗室內部，沒有強而有力的共同規範就無法建立，而且不該由單一公司自行評估模型是否足夠安全。我們需要一個由世界各地專家組成、並獲得前沿 AI 公司所在國政府認可的聯合 AI 安全組織。
6. 為了安全而放慢 AI 發展，必須與另一項事實相互權衡：AI 在醫學及其他科學領域的發現可能會減輕人類的苦難。缺乏管制可能導致某種災難性的後果（「早安！今天來研究一下強化版天花吧」）。缺乏進展則可能導致本可被拯救的人死亡，不只是現在的人，還包括未來眾多將因疾病而受苦的人。這聽起來或許是個奇怪的論點，但我們必須理解，叫停 AI *同樣*內含著安全成本，只是這個成本隱藏得更深。
7. Amodei 對中國的意識形態立場是不公平的。我們歐洲人直到 80 年前都還在毫無底線地自相殘殺（現在大家都忘了，但美國過去之所以投資於歐洲的穩定，原因之一就是我們曾經極度危險，很可能又會重蹈覆轍，而數十年的富裕會讓我們成為一個好市場、並阻止我們再次開戰）。美國即使在當下，也有著悲劇性的不平等，有人因缺乏基本醫療而受苦，有一位看起來不穩定、而且顯然非常好戰的總統。我當然希望中國能擁有與我們西方同等程度的個人權利，但同時，中國的歷史比起西方文化要好戰得少得多。在當前的條件下，完全不清楚由中國來執行 AGI 的軍事鎖定會比由美國來執行更容易。此外，現任美國政府以各種形式對歐洲口出惡言，這在一個由美國主導一切的世界裡非常令人擔憂。最重要的是，無論 GPU 出口管制政策如何，中國的 AI 進展都不會停止，所以 Amodei 的論點究竟是什麼？難道他是在主張美國一旦擁有 AGI 就應該用武力阻止中國嗎？
8. 在人類歷史上，有許多科技霸權最初是在世界某個單一地點取得的。就我所知，這從來沒有導致*單一*國家試圖建立永久性的優勢。核武不擴散——這大概是與 GPU 禁令最相似的案例——並沒有被用來透過威脅轟炸不服從的國家來取得永久的經濟優勢，也沒有阻止多個行為者在不同時間點取得該技術，而沒有一方為了阻止對方進展而去轟炸另一方。此外，我並不認為 AI 最大的危險來自政府主導的行動。我倒希望這才是最危險的情境！政府會做蠢事，常常具有侵略性，其行為甚至曾導致種族滅絕，但那需要一大群人共同同意去做某件可怕的事，而這本身就是一種限制因素。最大的問題在於另外兩種情況：A）少數個人製造出一場末日事件（病毒案例），B）AI 本身脫離了建造者的控制。

我認為我們不該把 AI 視為安全的。可能發生導致智人滅絕的關鍵事件，但危險並不在於開放模型，也不在於中國比美國進展更快。危險在於，少數幾位（遍布全世界的）CEO，在缺乏必要背景與正當性的情況下，卻處在為全人類做出艱難抉擇的位置上。他們並非被選來做這件事的；只是事件的隨機性造就了這樣的局面。就憑他們擁有 GPU 和資金，並不能代表所有人發言，尤其是在茲事體大的情況下。這是應該最先被修正的事。