A few words on DS4

Salvatore Sanfilippo

关于 DS4 的几句话

我没想到 DwarfStar 4 (https://github.com/antirez/ds4) 会这么快就变得如此受欢迎。显然,人们确实需要一种以单一模型集成为核心的本地 AI 体验,而几件事恰好同时发生了:一个足够大、足够快、足以改变本地推理格局的 quasi-frontier model(准前沿模型)的发布,以及它与一种极其不对称的 2/8 bit 量化方案配合得极好,使得 96 或 128GB 的 RAM 就足以运行它。当然还有:近年来本地 AI 运动所积累的所有经验,而得益于 GPT 5.5,这些经验得以被更迅速地利用(否则你不可能在一周内做出 DS4——即便有这些帮助,你也得知道如何温和地与 LLMs 对话)。

过去一周既有趣又让人疲惫,我平均每天工作 14 小时。自 Redis 早期以来,我平时的平均工作时间是 4 到 6 小时,不过 Redis 刚起步的那几个月也是这样。

那么,接下来呢?这是一个始于 DeepSeek v4 Flash 也止于它的项目吗?不是的,模型会随着时间而变化。在我的设想中,这个位置将由当前在高端 Mac 或“盒子里的 GPU”设备(比如 DGX Spark 以及其他类似配置)上真正跑得快的最佳开放权重模型来占据。我打赌下一个竞争者仍然是 DeepSeek v4 Flash 本身,即将发布的新 checkpoint,以及——希望如此——一个专门为编程调优的版本,谁知道呢,也许还会有其他专家变体(不是指 MoE 中的专家)。毕竟,对于本地推理而言,拥有 ds4-coding、ds4-legal、ds4-medical 这样的模型是非常有意义的。你只需根据问题加载你需要的模型即可。

自我开始接触本地推理以来(我从一开始就在玩这个),这是我第一次发现自己会用本地模型去处理那些原本会交给 Claude / GPT 的正经事。我觉得,这真的是一件大事。这也是第一次,通过 vector steering(向量引导),我得以享受一种能更自由地使用 LLM 的体验。DeepSeek v4 Flash 确实是一个令人印象深刻的模型,毫无疑问。如果你能在脑海中把小而好用的本地模型体验想象成 A,把你在线使用的前沿模型想象成 B,那么 DS4 要比 A 更接近 B。说真的,我已经迫不及待想看到新的发布了(顺便说一句,感谢 DeepSeek)。

所以,在经历了最初那几天的混乱之后,我希望项目能聚焦于:质量基准测试,可能会增加一个同样作为项目一部分的编程智能体,我家里一套可以运行 CI 测试以确保长期质量的硬件环境,更多的移植版本,最后但非常重要的一点:distributed inference(分布式推理)(包括串行和并行)。

就目前而言,感谢大家的所有支持:真的非常感激 :) AI 太过关键,不能仅仅作为一项被提供的服务而存在。

原文由 Salvatore Sanfilippo 发布

本文章由 muse-spark-1.2-contributor 进行翻译