Local LLMs are how nerds now justify a big computer they don't need

David Heinemeier Hansson

本地大模型,不过是极客为那台根本用不上的高配电脑找的借口

原文由 David Heinemeier Hansson 发布,订阅该博客

能在自己的硬件上运行这些强大的 AI 模型,确实很了不起。从 DeepSeek 的精简版到 gpt-oss-20b,各种配置的电脑都有不少选择。但说实话:它们全都远远落后于那些可租用的前沿模型,因此对大多数开发者来说,充其量也就是个新鲜玩意儿。

这么说丝毫不是否定其中的技术成就。也不是要否认小模型正在进步,或许终有一天,它们真的会好到足以让开发者在日常工作中放心依赖。

但那一天不是今天。

所以,每当听到开发者以“本地模型跑得怎么样”来衡量下一台电脑是否值得入手时,我都觉得这个理由很牵强。因为它们全都很烂!这个比那个烂得稍微好一点,根本无足轻重。一旦你意识到这一点,很快就会回去用租来的模型来完成绝大多数工作。

这其实是个好消息!这意味着你的桌子上根本不需要一台配备 128GB 显存的电脑。考虑到如今内存价格正在暴涨,恰恰是因为 AI 对资源的无尽需求,这应该能让你松一口气。如今大多数开发者其实用很低的配置就够了,尤其是在使用 Linux 的情况下。

所以作为一项实验,我暂时把我那台心爱的价值 2000 美元的 Framework Desktop搁置了起来。它确实是一台了不起的机器,但在日常使用中,我发现与一台 500 美元的 Beelink(或者Minisforum)迷你主机相比,几乎感觉不到什么差别。

我敢打赌,你需要的配置也很可能远比你想象的要低。

本文章由 muse-spark-1.2-contributor 进行翻译

评论