我原本沒想到 DwarfStar 4（https://github.com/antirez/ds4）會這麼快就這麼受歡迎。顯然，大家確實需要一種專注於單一模型整合的本地 AI 體驗，而剛好幾件事同時發生了：一個接近前沿等級、夠大又夠快的模型問世，足以改變本地推論的賽局，加上它與極度不對稱的 2/8 bit 量化配方配合得非常好，讓 96 或 128GB 的記憶體就足以運行。當然，還有這些年來本地 AI 社群所累積的各種經驗，而有了 GPT 5.5，這些經驗能更快被運用起來（否則你不可能在一週內做出 DS4——就算有這些幫助，你還是得懂得怎麼溫柔地跟 LLM 對話）。

過去這一週既有趣又讓人疲憊，我平均每天工作 14 小時。我從 Redis 早期開始，平常平均大概是每天 4 到 6 小時，不過 Redis 剛開始的那幾個月也是這樣。

那麼，接下來呢？這是一個始於 DeepSeek v4 Flash 也終於它的專案嗎？不是，模型會隨著時間更迭。在我的想像中，這個位置將會由當下在高階 Mac 或是那種「GPU in a box」設備（像是 DGX Spark 以及其他類似的配置）上跑起來*真正夠快*的最佳開源權重模型來佔據。我猜下一個接棒的，很可能還是 DeepSeek v4 Flash 自己——即將釋出的新 checkpoint，還有希望能有一個專為寫程式調校過的版本，甚至，或許還會有其他的專家變體（不是指 MoE 裡的 expert）。畢竟，就本地推論而言，擁有 ds4-coding、ds4-legal、ds4-medical 這樣的模型是非常合理的。你只要根據問題載入需要的模型就好。

從我開始玩本地推論以來（我從一開始就在玩），這是第一次我發現自己會用本地模型來處理那些我本來會去問 Claude / GPT 的正經事。我覺得，這真的是一件大事。這也是第一次，透過 vector steering，我能享受到一種可以更自由地使用 LLM 的體驗。DeepSeek v4 Flash 真的是一個令人印象深刻的模型，這點無庸置疑。如果你把體驗不錯的小型本地模型想像成 A，把你在線上使用的前沿模型想像成 B，那 DS4 要更接近 B，而不是 A。老實說，我已經等不及想看到後續的新版本了（對了，謝謝 DeepSeek）。

所以，在經歷最初那幾天混亂之後，我希望這個專案接下來能聚焦在：品質基準測試、可能加入一個同樣屬於專案一部分的 coding agent、在我家裡建置一套可以跑 CI 測試的硬體環境以確保長期的品質、更多的移植版本，最後但同樣非常重要的一點：分散式推論（包含序列與並行）。

目前，先謝謝大家的支持：真的非常感謝 :) AI 太關鍵了，不能只是一種被提供的服務。