DS4について一言
原文は Salvatore Sanfilippo により に公開されました。 このブログを購読する
DwarfStar 4(https://github.com/antirez/ds4)がこれほど急速に人気を集めるとは思っていなかった。単一モデル統合に特化したローカルAI体験が求められていたのは明らかだし、いくつかのことが同時に重なったのだろう。ローカル推論のゲームを変えるほど大きく、かつ高速な準フロンティアモデルの登場。そして、極端に非対称な2/8ビットという量子化レシピとの相性が極めてよく、96GBや128GBのRAMでも動作すること。もちろん、ここ数年でローカルAIムーブメントが積み重ねてきた経験もある。それらをGPT 5.5のおかげで素早く活用できた(そうでなければ1週間でDS4を作ることなどできない――しかも、これだけの助けがあっても、LLMに優しく話しかける方法を知っている必要がある)。
この1週間は面白かったが、同時に疲れもした。平均して1日14時間は働いた。Redisの初期から、普段は1日4〜6時間が平均なのだが、Redisの最初の数ヶ月はこんな感じだった。
では、次はどうなるのか。このプロジェクトはDeepSeek v4 Flashで始まって終わりなのか。いや、モデルは時間とともに変わっていく。私のビジョンでは、この領域はハイエンドなMacや「GPU in a box」的な機材(DGX Sparkやそれに類する構成)で*実用的な速さ*が出る、その時々で最高のオープンウェイトモデルが担うことになる。次の候補も、おそらくDeepSeek v4 Flash自身だろう。近くリリースされる新しいチェックポイント、そして願わくばコーディングに特化してチューニングされたバージョン、あるいは他のエキスパート派生モデル(MoEのエキスパートという意味ではなく)かもしれない。ローカル推論においては、ds4-coding、ds4-legal、ds4-medicalといったモデルを用意するのは、よく考えれば理にかなっている。質問に応じて必要なものをロードすればいいのだから。
ローカル推論で遊び始めてから(最初期から触っている)、普段ならClaudeやGPTに頼むような本格的な作業をローカルモデルでこなしていると感じたのは今回が初めてだ。これは本当に大きなことだと思う。また、ベクトルステアリングを使うことで、LLMをより自由に使える体験を楽しめたのも初めてだ。DeepSeek v4 Flashは本当に素晴らしいモデルで、疑いの余地はない。小さくてよくできたローカルモデルの体験をA、オンラインで使うフロンティアモデルをBと想像してみてほしい。DS4はAよりもはるかにBに近い。正直、次のリリースが待ちきれない(ちなみに、DeepSeekに感謝)。
そんな混沌とした最初の数日を経て、今後はプロジェクトを次のことに集中させたいと考えている。品質ベンチマーク、プロジェクトの一部となるコーディングエージェントの追加の可能性、自宅にCIテストを実行できるハードウェア環境を整えて長期的な品質を担保すること、さらなる移植、そして最後に、非常に重要な点として分散推論(直列と並列の両方)だ。
ひとまず、たくさんのサポートに感謝したい。本当にありがたかった :) AIは、単に提供されるサービスとして済ませるには重要すぎる。
記事をランダムに読む
コメント
ログインしてコメントする