2025 年末對 AI 的反思
- 多年來，儘管功能上的證據與科學線索不斷累積，仍有部分 AI 研究人員堅稱 LLMs(大型語言模型) 是 stochastic parrots(隨機鸚鵡)：一種機率機器，其特性為：1. 不會對提示的含義有任何表徵。2. 不會對自己接下來要說什麼有任何表徵。到了 2025 年，終於幾乎沒有人再這樣說了。
- Chain of thought(思維鏈) 如今已是提升 LLM 輸出的根本方法。但是，什麼是 CoT？它為何能改善輸出？我認為有兩個原因：1. 在模型表徵中進行取樣（也就是一種內部搜尋的形式）。當與提示主題相關的資訊與概念都進入上下文視窗後，模型就能更好地回應。2. 但若將此與 reinforcement learning(強化學習) 結合，模型也會學會一個 token 接著一個 token 地產生內容（每個 token 都會改變模型的狀態），以收斂至有用的回覆。
- 認為擴展受限於我們擁有的 token 數量的想法，已經不再成立，因為有了具備 verifiable rewards(可驗證獎勵) 的 reinforcement learning。我們仍未迎來 AlphaGo 第 37 步那樣的時刻，但未來真的不可能發生嗎？有些任務，例如針對給定程式進行速度最佳化，理論上模型可以在非常明確的獎勵訊號下持續取得進展很長一段時間。我相信將 RL 應用於 LLMs 的改進，將會是 AI 下一個重大突破。
- 程式設計師對 AI 輔助程式設計的抗拒已大幅降低。即使 LLMs 仍會犯錯，其提供實用程式碼與提示的能力已提升到讓多數原本抱持懷疑態度的人也開始使用 LLMs 的程度：如今對更多人而言，投資報酬率已是可以接受的。程式設計界目前仍分為兩派：一派將 LLMs 當作同事使用（例如，我所有的互動都是透過 Gemini、Claude 等的網頁介面進行），另一派則將 LLMs 當作獨立的程式碼代理人使用。
- 少數知名的 AI 科學家認為，Transformers(轉換器) 所帶來的突破可以再次發生，甚至做得更好，只是循著不同的路徑，他們已開始組建團隊、成立公司，以探索 Transformers 的替代方案，以及具備顯式 symbolic representations(符號表徵) 或 world models(世界模型) 的模型。我認為 LLMs 是在能夠近似離散推理步驟的空間上訓練而成的可微分機器，即使沒有出現根本性的新典範，它們也有可能帶領我們抵達 AGI(通用人工智慧)。AGI 很可能可以透過許多截然不同的架構各自獨立達成。
- 有人說 chain of thought 從根本上改變了 LLMs 的本質，這就是為什麼他們過去聲稱 LLMs 有著極大的限制，而現在卻改變了想法。他們說，因為有了 CoT，LLMs 現在已是不同的東西。他們在說謊。它仍然是相同的架構，帶著相同的下一個 token 目標，而 CoT 正是以那種方式，一個 token 接著一個 token 地產生的。
- 如今 ARC 測試看起來遠不如最初想像的那般難以克服：有一些針對特定任務最佳化的小型模型在 ARC-AGI-1 上表現得相當不錯，而具備大量 CoT 的超大型 LLMs 則在 ARC-AGI-2 上取得了令人印象深刻的成果，其所使用的架構，按照許多人的說法，原本被認為無法帶來這樣的結果。從某種程度上說，ARC 已從一項反 LLM 的測試，轉變為對 LLMs 的驗證。
- 未來 20 年 AI 面臨的根本挑戰，是避免滅絕。