2025年末对AI的思考
- 多年来，尽管功能性证据和科学线索不断积累，某些AI研究者仍坚持声称LLM是随机鹦鹉(stochastic parrots)：即概率机器，它们：1. 不会对提示词的含义有任何表征。2. 不会对自己将要说的内容有任何表征。到了2025年，几乎所有人都不再这么说了。
- 思维链(Chain of Thought)如今已成为改进LLM输出的基本方法。但是，CoT究竟是什么？它为什么能改进输出？我认为它是两件事的结合：1. 在模型表征中进行采样（也就是一种内部搜索）。当与提示词主题相关的信息和概念进入上下文窗口后，模型就能更好地作答。2. 而如果再结合强化学习，模型还会学会一个接一个地放置token（每个token都会改变模型状态），从而收敛到某个有用的回答。
- 认为扩展受限于我们拥有的token数量的观点已不再成立，这要归功于可验证奖励的强化学习。我们还没有到达AlphaGo第37手那样的时刻，但这在未来真的不可能吗？某些任务，比如提升给定程序的运行速度，理论上模型可以在非常清晰的奖励信号下持续取得进展很长时间。我相信将强化学习应用于LLM的改进将是AI领域的下一个重大突破。
- 程序员对AI辅助编程的抵触情绪已大幅降低。即使LLM会犯错，其交付有用代码和提示的能力也已提升到大多数怀疑者开始使用LLM的程度：如今对更多人来说，投入产出比已经可以接受了。编程界仍然分为两派：一派把LLM当作同事使用（例如，我所有的交互都是通过Gemini、Claude等的网页界面进行的），另一派则把LLM当作独立的编码智能体来使用。
- 一些知名的AI科学家相信，Transformer身上发生过的事情可能会以更好的方式沿着不同的路径再次发生，他们开始组建团队和公司，研究Transformer的替代方案以及具有显式符号表征或世界模型的模型。我认为LLM是在一个能够逼近离散推理步骤的空间上训练出来的可微分机器，即使没有根本性的新范式出现，它们把我们带到AGI也并非不可能。AGI很可能可以通过许多截然不同的架构独立实现。
- 有人说思维链从根本上改变了LLM的本质，这就是为什么他们过去声称LLM非常有限，而现在正在改变看法。他们说，由于CoT，LLM现在已经是另一种东西了。他们在撒谎。它仍然是同样的架构、同样的下一token预测目标，而CoT也正是这样逐个token生成的。
- ARC测试如今看起来远没有最初想象的那么难以逾越：有一些针对该任务优化的小模型在ARC-AGI-1上表现相当不错，而配备大量CoT的超大LLM凭借一种在许多人看来不可能取得这种成绩的架构，在ARC-AGI-2上取得了令人瞩目的结果。ARC在某种意义上从反LLM测试转变成了对LLM的验证。
- 未来20年AI面临的根本挑战是避免灭绝。