本地 LLM 成了阿宅用來合理化那台根本不需要的大電腦的藉口
原文由 David Heinemeier Hansson 于 發布,訂閱此部落格
現在能在自己的硬體上跑這些厲害的 AI 模型,真的很不可思議。從 DeepSeek 的縮小版到 gpt-oss-20b,各種電腦都有對應的選擇。但說真的:這些全都遠遠落後於那些用租的前沿模型,所以對多數開發者來說,頂多就是個新奇的玩意兒。
這絲毫不減損這項技術成就本身。也不否認小型模型正在進步,或許總有一天,它們真的會好到足以讓開發者在日常工作中依賴。
但那一天不是今天。
所以,每當聽到開發者用「跑本地模型跑得多順」來評估下一台電腦,我都覺得這種說法很牽強。因為它們全都很爛!爛多爛少根本沒差。而且一旦你發現這點,很快就會回去用租來的模型來完成絕大多數工作。
這其實是個好消息!這代表你根本不需要在桌上擺一台配備 128GB VRAM 的電腦。聽到這個,現在應該能鬆一口氣了,尤其現在記憶體價格正飆漲,正是因為 AI 對資源永無止境的需求。如今多數開發者用很少的資源就很夠用了,尤其是跑 Linux 的話。
所以做個實驗,我把我那台要價 2,000 美元、深得我心的 Framework Desktop先晾在一旁。它是一台很棒的機器,但在日常使用上,我發現跟一台來自Beelink(或Minisforum)要價 500 美元的迷你電腦相比,幾乎感覺不到差別。
我敢打賭,你需要的也遠比你想的少得多。
隨機一篇部落格
留言
登入後參與討論