摘要： Redis 作者 antirez 在 2026 年 5 月上旬開源 ds4，這是一套以 C 打造的本地 LLM 推理引擎與工具組，只支援專案自製的 DeepSeek V4 與 GLM 模型檔。它靠極端不對稱 2/8-bit 量化與壓縮 KV cache，讓 DeepSeek V4 Flash 能放進 96 或 128GB RAM 的 Mac，主體據稱一週完成。
寫出 Redis 的 Salvatore Sanfilippo(antirez),在 2026 年 5 月上旬把開源新作 ds4(DwarfStar)送上了 Hacker News 首頁,分數累積到將近 500,討論約有 160 則。這是一套用 C 語言打造的本地 LLM 推理引擎,自我定位講得毫不模糊:要成為「在消費級硬體上運行少數幾個優秀大型語言模型的最佳方式」。置身雲端 API 當道的 2026 年,他給的理由同樣直接——「AI 太關鍵,不應該只是一種代管服務」。
認識 ds4:一整組工具,而非單一引擎
這個倉庫的內容超出引擎本身:除了 ds4 CLI,還有原生編碼代理 ds4-agent、預設把監聽位址設在 127.0.0.1:8000 的 HTTP 伺服器 ds4-server,並附帶 eval、bench 與 GGUF 工具鏈。官方支援的模型名單刻意收得很窄:DeepSeek V4 Flash(視覺能力屬實驗性質)、DeepSeek V4 PRO,加上 GLM 5.2、5.3 與 5.3 Flash;這份名單沒有終點,「有更好的就換掉」。第一次上手,建議直接從 Q2 量化版跑起。授權採 MIT;程式主體是 C,Metal 環節以 Objective-C 完成,CUDA 則備有專屬核心。GGML 的版權聲明仍留在授權檔裡——部分量化布局與 CPU 核心改編自 llama.cpp,antirez 為此向 Georgi Gerganov 致謝。
捨通用、就專精:不做來者不拒的 GGUF 執行器
面對 llama.cpp、Ollama 這種來者不拒的通用執行器,ds4 選了相反的方向:任意 GGUF 檔一概不收,能跑的只有專案自行產製的模型檔。付出的代價,換來針對 DeepSeek 與 GLM 架構的深度調校——激進的路由專家量化(routed-expert quantization),加上壓縮過的 KV cache。部署劇本也不限於單機:主力放在 Metal,對象是 RAM 至少 96GB 的 Mac;規模較小的機器,靠 SSD 串流把塞不進記憶體的模型照樣跑起來;CUDA 版把 DGX Spark 當頭號目標,L40S 這類多卡系統也吃得下;ROCm 版選定 Strix Halo 平台;甚至能透過 RDMA 讓兩台 128GB Mac 跑張量平行,或以管線平行把多台機器的 RAM 集結成池。
效能實測與硬體對應
README 給得出具體數字:八張 L40S 組成的系統,聚合生成速度約每秒 126 tokens,還能同時服務 16 個 session;整輪基準掃描則在搭載 128GB RAM 的 M5 Max 上完成。真正定義這個專案的,是它的量化配方——antirez 在部落格說明,DeepSeek V4 Flash 這個「準前沿」的開放權重模型,套上極端不對稱的 2/8-bit 量化配方之後,96 或 128GB 的 RAM 便裝得下。投機解碼屬選配(GLM 對應 MTP、Flash 對應 DSpark),另備有方向性導引,過程無須重建 KV cache。目前專案掛著 beta 標籤,官方自述「變化非常快」。
一週完工,道道地地的 AI 時代軟體
antirez 說明,ds4 主體的誕生只花了一週,期間他每天投入 14 小時——相較於自 Redis 早期一路維持的每天 4 到 6 小時,完全是另一種強度——過程中 AI 編碼代理與 GPT 5.5 出力甚多,但構想、測試與除錯依舊由人類掌舵。他更往前推了一把:ds4 的程式碼本身就是「給編碼代理改寫的模板」,比方說交給代理針對你的硬體調校推理核心,而不必要求官方版本通吃所有配置。這與我們在 2026 年開年展望中的判斷相互呼應:軟體的開發、維護與分發,正被代理逐一改寫。
放進本地 AI 的大圖來看
歸納成三點。其一,ds4 證明針對少數模型做深度最佳化,確實拿得回通用執行器給不了的效能,2/8-bit 非對稱量化讓貼近前沿的能力落進工作站級 Mac。其二,自 llama.cpp 以來,本地推理堆疊出現了一次重量級分岔:一邊守通用相容、一邊追極致效能,接下來很長一段時間,兩條路線會同時存在。其三,示範效應同樣不能小覷——Redis 之父親身演繹「一個人加 AI 代理,一週交付一套推理引擎」,連他自己都承認,爆紅的速度遠遠超出預期。獨立開發者從中讀到的是:這條路真的走得通,本地 AI 的下一波,或許就由這類小而深、可被代理改寫的專案推起來。