2026 年 5 月上旬,Redis 作者 Salvatore Sanfilippo(antirez)的開源專案 ds4(DwarfStar)衝上 Hacker News 首頁,累積近 500 分與約 160 則討論。這是一個用 C 語言寫成的本地 LLM 推理引擎,目標明確:成為「在消費級硬體上運行少數幾個優秀大型語言模型的最佳方式」。在雲端 API 主導的 2026 年,他的動機很直白——「AI 太關鍵,不應該只是一種代管服務」。
ds4 是什麼
ds4 不只是引擎。倉庫提供 ds4 CLI、原生編碼代理 ds4-agent,以及預設監聽 127.0.0.1:8000 的 HTTP 伺服器 ds4-server,外加 eval、bench 與 GGUF 工具鏈。支援的模型清單刻意精簡:DeepSeek V4 Flash(含實驗性視覺能力)、DeepSeek V4 PRO,以及 GLM 5.2、5.3 與 5.3 Flash;模型可隨時替換,「有更好的就換掉」。首次體驗建議直接跑 Q2 量化版。專案以 MIT 授權釋出,主體是 C 程式碼,Metal 部分用 Objective-C 撰寫,CUDA 另有專屬核心。授權檔保留 GGML 版權聲明——部分量化布局與 CPU 核心改編自 llama.cpp,antirez 並向 Georgi Gerganov 致謝。
不是通用 GGUF 執行器
ds4 與 llama.cpp、Ollama 這類通用執行器不同:它不支援任意 GGUF 檔,只運行專案自己產製的模型檔。交換條件是針對 DeepSeek 與 GLM 架構的深度最佳化——激進的路由專家量化(routed-expert quantization)與壓縮 KV cache。部署形態也超乎單機:Metal 是主戰場,鎖定 96GB 以上 RAM 的 Mac,更小的機器靠 SSD 串流把模型塞進有限記憶體;CUDA 版以 DGX Spark 為主要目標,並支援 L40S 等多卡系統;ROCm 版瞄準 Strix Halo 平台;甚至能用 RDMA 把兩台 128GB Mac 做張量平行,或以管線平行池化多機 RAM。
效能數字與硬體藍圖
README 的具體數字:八張 L40S 的系統可達約每秒 126 tokens 的聚合生成速度,同時跑 16 個 session;基準掃描以 128GB RAM 的 M5 Max 進行。量化配方是專案靈魂——antirez 在部落格解釋,DeepSeek V4 Flash 這個「準前沿」開放權重模型,配上 2/8-bit 極度非對稱的量化配方後,96 或 128GB 的 RAM 就足以承載。投機解碼為可選項(GLM 用 MTP、Flash 用 DSpark),另有免重建 KV cache 的方向性導引。目前是 beta,官方自述「變化非常快」。
一週寫成的 AI 時代軟體
antirez 透露 ds4 主體只花了一週,期間每天工作 14 小時,遠高於他自 Redis 早期以來的每天 4 到 6 小時,並大量借助 AI 編碼代理與 GPT 5.5 的協助,不過 idea、測試與除錯仍由人類主導。他還提出更激進的主張:ds4 的程式碼本身就是「給編碼代理改寫的模板」,例如讓代理針對你的特定硬體最佳化推理核心,而不是追求官方版本支援所有配置。這與我們 2026 年開年展望的判斷一致:代理正在改寫軟體的開發、維護與分發方式。
對本地 AI 生態的意義
三個觀察。第一,ds4 證明「少數模型的深度最佳化」能要回通用執行器給不了的效能,2/8-bit 非對稱量化把接近前沿的能力帶進工作站級 Mac。第二,這是繼 llama.cpp 之後本地推理棧的一次重要分岔:一邊是通用相容性,一邊是極致效能,兩種路線會長期並存。第三,示範效應不容小看——Redis 作者親身展示「一個人加 AI 代理,一週交付一套推理引擎」,他也坦承走紅速度遠超預期。對獨立開發者,這是強烈的可行性訊號:本地 AI 的下一波,可能由這種小而深、可被代理改寫的專案推動。
參考來源
- antirez/ds4 (DwarfStar) — GitHub
- A few words on DS4 — antirez
- DeepSeek 4 Flash local inference engine for Metal — Hacker News
本文由 AI 協助自上述來源整理，經人工審核後發布。