聊聊 DS4
原文由 Salvatore Sanfilippo 于 发布,订阅该博客
我没料到 DwarfStar 4(https://github.com/antirez/ds4)会这么快就这么受欢迎。显然,大家确实需要一种专注于单模型集成的本地 AI 体验,而几件事恰好同时发生了:一个足够大、又足够快的准前沿模型的发布,足以改变本地推理的游戏规则;再加上它与极度不对称的 2/8 bit 量化方案配合得极好,以至于 96 或 128GB 内存就足以运行。当然,还有过去几年本地 AI 运动积累的所有经验,而得益于 GPT 5.5,这些经验得以被更快地利用起来(否则不可能在一周内做出 DS4——即便有这些帮助,你也得懂得如何温和地跟大模型对话)。
过去一周既有意思又让人疲惫,我平均每天工作 14 个小时。我平时的节奏自 Redis 早期以来就是每天 4 到 6 小时,不过 Redis 头几个月也是这样。
那么,接下来呢?这个项目会随着 DeepSeek v4 Flash 有始有终吗?不会,模型会随着时间而变化。在我的设想里,这个位置将由当前在高端 Mac 或“盒装 GPU”设备(比如 DGX Spark 以及其他类似设备)上*真正跑得动*的最强开源权重模型来占据。我敢打赌,下一个竞争者仍然是 DeepSeek v4 Flash 本身——即将发布的新 checkpoint,以及有望推出的专门为编程优化的版本,天知道,或许还会有其他的专家变体(不是 MoE 里 expert 的那种含义)。对于本地推理而言,拥有 ds4-coding、ds4-legal、ds4-medical 这样的模型其实非常合理。毕竟,你只需根据问题加载需要的模型就行。
自我开始折腾本地推理以来(从一开始就在玩),这是第一次发现自己会用本地模型来处理那些原本会去问 Claude / GPT 的正经事。我觉得,这真的是一件大事。这也是第一次,通过向量引导,我得以体验到一种可以更自由地使用 LLM 的方式。DeepSeek v4 Flash 确实是一个令人印象深刻的模型,这一点毋庸置疑。如果把小而好用的本地模型体验想象成 A,把你在线使用的前沿模型想象成 B,那么 DS4 要比 A 更接近 B 得多。老实说,我已经等不及看到后续的新版本了(顺便,感谢 DeepSeek)。
所以,在经历了最初那几天的混乱之后,我希望项目能聚焦于:质量基准测试、可能加入一个同样作为项目组成部分的编程智能体、在我家里搭建一套能够运行 CI 测试的硬件环境以保证长期质量、更多的移植版本,最后但同样非常重要的一点:分布式推理(包括串行和并行)。
暂时就说这些,感谢大家的支持:真的非常感激 :) AI 太过重要,不能仅仅作为一项被提供的服务而存在。
随机一篇博客
评论
登录后参与讨论