Amodei（阿莫戴）在他最新的部落格文章中寫了一些我認同的觀點，也寫了一些我認為誤判了 AI 真正風險所在的內容。我想把焦點放在，為何在所有風險中，open weight models(開放權重模型) 所構成的風險最為輕微。我是以一個堅信 AI 在不久的將來可能變得非常危險的人的身分寫下這些話：

1. 就像在 OpenAI / HF 事件期間發生的情況一樣（那是一個玩笑，但請關注的是形式而非結果），首次嚴重的 AI 事故極有可能發生在 frontier AI labs(前沿 AI 實驗室) 的圍牆之內，也就是在測試新模型時，或是當 AI 實驗室的員工，或少數擁有存取權限的外部人員，其作為相對於模型的預期能力而言出了差錯之時。
2. 那些永遠不會對外公開的 closed models(封閉式模型) 終究也不過是幾 TB 的資料。要洩漏其中一個，只需要一位擁有存取權限且心懷不軌的人，你就會回到等同於 open models 的處境。open models 是在測試*之後*才發布的，而且是在能力相當的模型已經透過 API 提供一段時間之後才發布。真正的風險在於洩漏，而非發布，而洩漏就發生在前沿企業內部。
3. 如同阿莫戴所說，一旦 LLMs(大型語言模型) 在生物學等領域危險到一定程度，open models 可以在剔除了特定科學分支的語料庫上進行訓練，同時仍在許多其他用途上保持實用。一個在特定領域缺乏強大 pre-training(預訓練) 的模型，其有限的 context window(上下文視窗) 即使在其他方面能力很強的情況下，仍是強而有力的保護。我們目前尚未處於 open models 能構成那種危險的階段。
4. 在網路安全的脈絡下，*沒有*廣泛取得 LLMs 所提供的防禦性安全與漏洞探尋能力，恰恰造成了「LLMs as a weapon」的問題。這已經正在發生：開源維護者在缺乏某些網路安全計畫支援的情況下，無法找出所有本可找到的安全漏洞，而懷有特定目的的人卻能夠取得前沿的網路安全模型、對 open weight models 進行大量的 RL training(強化學習訓練) 等等。
5. 一旦 LLMs 危險到一定程度（若進展持續，我們已接近此界線），我們真正需要建立的安全環節就在實驗室內部，沒有強而有力的共同規範就無法建立，而且單一公司不應能獨立評估一個模型是否足夠安全。我們需要一個聯合的 AI 安全組織，納入來自世界各地的專家，並獲得設有前沿 AI 公司的各國政府認可。
6. 為了安全而放慢 AI 的發展，必須與另一項事實相權衡：AI 在醫學及其他科學領域的發現可能會減輕人類的苦難。缺乏檢核可能導致某種災難性的後果（「早安！來研究這個增強版天花吧」）。缺乏進展則可能導致那些本可被拯救的人死亡，不僅是當下，還包括未來眾多將因疾病受苦的人。這看起來或許是個奇怪的論點，但我們始終需要理解，叫停 AI *同樣*也內含安全成本，只是更加隱蔽而已。
7. 阿莫戴對中國的意識形態立場是不公允的。我們歐洲人直到 80 年前還在毫無底線地自相殘殺（人們現在已經忘了，但美國過去投資於歐洲穩定性的原因之一，就是我們曾極度危險，很可能會重蹈覆轍，而數十年的富裕會讓我們成為一個良好的市場，並阻止我們再次開戰）。美國即便在當下，也存在悲劇性的不平等，因缺乏基本醫療而受苦的人們，以及一位看起來不穩定且顯然極易訴諸戰爭的總統。我希望中國能擁有與我們西方同等程度的個人權利，但同時，中國的歷史遠比西方文化不那麼好戰。在當前的條件下，AGI(通用人工智慧) 的軍事鎖定究竟會更容易由中國而非美國來強制實現，這一點絕非明確。此外，現任美國政府以各種形式對歐洲口出惡言，這在一個由美國主宰一切的世界裡令人非常憂心。除此之外，無論 GPU 出口政策為何，中國的 AI 進展都不會停止，因此，要嘛阿莫戴是在主張美國一旦擁有 AGI 就應該以武力阻止中國，否則他的論點究竟是什麼？
8. 在人類歷史上，有許多科技霸權最初是在世界上的單一地點取得的。就我所知，這從未導致*單一*國家試圖創造永久性的優勢。核武器的不擴散——這可能是與 GPU 禁令最相似的案例——並未被用來透過威脅轟炸所有不服從者來取得永久的經濟優勢，也並未阻止多個行為者在不同時間取得該技術，而沒有一方為了阻止對方的進展而去轟炸另一方。此外，我不認為 AI 構成的最大危險來自政府驅動的行動。我倒希望這才是最危險的情境！政府會做蠢事，往往具有侵略性，其行為甚至導致過種族滅絕，但那需要許多人一致同意去做某件可怕的事，而這本身就是一種限制因素。最大的問題在於另外兩種情況會發生什麼：A）少數個人引發末日事件（病毒案例），B）AI 本身逃脫了建構者的控制。

我認為我們不應將 AI 視為安全。可能發生導致 Homo sapiens（智人）滅絕的關鍵事件，但危險並不在於 open models，或中國比美國取得更快的進展。危險在於，少數缺乏必要背景與正當性的 CEO（遍布世界各地）卻處於為全人類做出艱難抉擇的位置。他們並非被選來做這件事；只是事件的隨機性造就了這種局面。以其利害關係之重，他們不能僅僅因為擁有 GPU 和資金就代表所有人發言。這是首先應該被修正的事。