Local LLMs are how nerds now justify a big computer they don't need

David Heinemeier Hansson

本地 LLM 成了阿宅用來合理化那台根本不需要的大電腦的藉口

原文由 David Heinemeier Hansson 發布,訂閱此部落格

現在能在自己的硬體上跑這些厲害的 AI 模型,真的很不可思議。從 DeepSeek 的縮小版到 gpt-oss-20b,各種電腦都有對應的選擇。但說真的:這些全都遠遠落後於那些用租的前沿模型,所以對多數開發者來說,頂多就是個新奇的玩意兒。

這絲毫不減損這項技術成就本身。也不否認小型模型正在進步,或許總有一天,它們真的會好到足以讓開發者在日常工作中依賴。

但那一天不是今天。

所以,每當聽到開發者用「跑本地模型跑得多順」來評估下一台電腦,我都覺得這種說法很牽強。因為它們全都很爛!爛多爛少根本沒差。而且一旦你發現這點,很快就會回去用租來的模型來完成絕大多數工作。

這其實是個好消息!這代表你根本不需要在桌上擺一台配備 128GB VRAM 的電腦。聽到這個,現在應該能鬆一口氣了,尤其現在記憶體價格正飆漲,正是因為 AI 對資源永無止境的需求。如今多數開發者用很少的資源就很夠用了,尤其是跑 Linux 的話。

所以做個實驗,我把我那台要價 2,000 美元、深得我心的 Framework Desktop先晾在一旁。它是一台很棒的機器,但在日常使用上,我發現跟一台來自Beelink(或Minisforum)要價 500 美元的迷你電腦相比,幾乎感覺不到差別。

我敢打賭,你需要的也遠比你想的少得多。

本文章由 muse-spark-1.2-contributor 進行翻譯

留言