摘要: PrismML 在 2026 年 3 月 31 日結束 stealth,發表端到端 1-bit 的 Bonsai 家族,8B 旗艦權重只有 1.15 GB 並以 Apache 2.0 釋出。這條路線主打端側的智能密度而非絕對成績;Bonsai 8B 的基準平均仍落後 Qwen3 8B,官方實測也還需外部驗證。
2026 年 3 月 31 日,一家總部在 Pasadena 的新創公司結束 stealth 狀態:PrismML 公開 1-bit Bonsai 系列,宣稱這是全球頭一批「可商業化」的端到端 1-bit 大型語言模型。系列中的旗艦 Bonsai 8B 內含 82 億參數,整包權重僅佔 1.15 GB;16 位元的同級產品通常要 16 GB,體積差了 14 倍。這批權重已按 Apache 2.0 授權放上 Hugging Face。
這件事的重要性在於:極端量化長期被歸類為跑得動卻派不上用場的展示品,而 PrismML 的立場恰好倒過來——1-bit 不是訓練結束後才補上的壓縮手段,而是從第一步就以二元權重打造的原生架構。這套論述若站得住,手機、機器人與穿戴裝置裝得下的本地模型等級,會直接跳上一階。
全程 1 位元:不替高精度留後路
低位元產品在市場上多半摻雜高精度零件,掛著 1.58-bit 招牌的做法,常常在最吃重的層裡續用 FP16。PrismML 對 Bonsai 的宣稱則是「true 1-bit, end to end」:embedding、attention 層、MLP 層直到 LM head,每一處都是 1 位元,也就是「沒有高精度逃生門」。系列共三種尺寸——8B(1.15 GB)、4B(0.5 GB)、1.7B(0.24 GB)——全部以 Google TPU v4 完成訓練。
白皮書另外提到一項更遠期的紅利:1-bit 專屬硬體一旦成真,乘法能被加法取代,能耗與延遲還有機會再降一截。
70.5 分的兩種讀法:絕對成績與密度指標
先把難看的部分攤開:Bonsai 8B 的基準平均落在 70.5,追不上 Qwen3 8B 的 79.3。分項依序為 MMLU Redux 65.7、MuSR 50.0、GSM8K 88.0、HumanEval+ 73.8、IFEval 79.8、BFCLv3 65.7。純比絕對分數,這一局確實居於下風。
PrismML 於是端出另一種量法:intelligence density,把錯誤率取負對數再除以模型體積。套入之後,Bonsai 8B 得到 1.06/GB,Qwen3 8B 只有 0.10/GB,相差 10.6 倍。對儲存與記憶體都吃緊的裝置而言,決定模型「裝不裝得下、跑不跑得動」的正是這個數——Qwen3 8B 的 FP16 權重重達 16.38 GB,手機裡根本挪不出空位。
實測:吞吐量、耗電與工具呼叫
官方量測的成績單:M4 Pro Mac 每秒 131 token、RTX 4090 每秒 368 token、iPhone 17 Pro Max 約 44 token、iPhone 17 Pro 約 40 token;拿來對照的 16 位元 1B 模型僅 23 token——換句話說,在旗艦手機上,8B 級的 1-bit 模型反而跑贏 16 位元的 1B 模型。耗電部分,M4 Pro 每個 token 0.074 mWh、iPhone 17 Pro Max 0.068 mWh,整體能源效率據稱提升 4 到 5 倍。
代理情境的展示更具說服力:同一批工具呼叫任務,Bonsai 8B 完成 50 項,一般的 16 位元 8B 模型只完成 6 項。這些數字若經得起檢驗,最先受惠的會是離線代理類應用——它們卡住的地方從來不是推理本領,而是有用的模型根本放不進裝置。
技術出處與資金組成:Caltech 血統、創投下注
Bonsai 的技術脫胎於 Caltech 的研究,IP 透過專屬授權取得;共同創辦人 Hassibi 在 Caltech 任教,並親自擔任 CEO。出資方為 Khosla Ventures 與 Cerberus Ventures,另有 Google 與 Caltech 提供的算力補助——一家把賭注押在「模型更小」的公司,同時收下了「把模型做大」陣營的資金。
Vinod Khosla 的講法是:「AI 的未來不會由誰能蓋出最大的資料中心來定義。」Cerberus 陣營的 Amir Salek(先前是 Google TPU 的負責人)說得更直白:「電力已經成為擴充 AI 資料中心的最終瓶頸。」Hassibi 對路線的描述相當自制:「我們把 1-bit 視為起點,而非終點。」
站在開發者角度:三個立即的影響
實際衝擊有三。首先,部署當天即可打通:Apple 設備走 MLX,NVIDIA 硬體用 llama.cpp 的 CUDA 後端,Windows 與 Linux 則以 GitHub 為起點。其次,Apache 2.0 讓商業使用不附帶任何條件——離線翻譯、裝置端摘要、本地代理這類產品可以直接蓋在 Bonsai 上面,法務審查這一關整個省掉。最後,70.5 的平均分本身就是選型提醒:它屬於「密度優先」的模型,劇本裡沒有取代雲端旗艦這回事——該計較的是每 GB 換得多少能力,而不是絕對 SOTA。
