AGENTIC COMMONSAI 產業簡報

繁中EN

主題開源模型與開放權重出版

返回文章列表

PrismML 推出 1-bit Bonsai:把 8B 模型壓進 1.15 GB 的端側 LLM

本頁內容6 個段落
  1. 全程 1 位元:不替高精度留後路
  2. 70.5 分的兩種讀法:絕對成績與密度指標
  3. 實測:吞吐量、耗電與工具呼叫
  4. 技術出處與資金組成:Caltech 血統、創投下注
  5. 站在開發者角度:三個立即的影響
  6. 資料來源

摘要: PrismML 在 2026 年 3 月 31 日結束 stealth,發表端到端 1-bit 的 Bonsai 家族,8B 旗艦權重只有 1.15 GB 並以 Apache 2.0 釋出。這條路線主打端側的智能密度而非絕對成績;Bonsai 8B 的基準平均仍落後 Qwen3 8B,官方實測也還需外部驗證。

2026 年 3 月 31 日,一家總部在 Pasadena 的新創公司結束 stealth 狀態:PrismML 公開 1-bit Bonsai 系列,宣稱這是全球頭一批「可商業化」的端到端 1-bit 大型語言模型。系列中的旗艦 Bonsai 8B 內含 82 億參數,整包權重僅佔 1.15 GB;16 位元的同級產品通常要 16 GB,體積差了 14 倍。這批權重已按 Apache 2.0 授權放上 Hugging Face。

這件事的重要性在於:極端量化長期被歸類為跑得動卻派不上用場的展示品,而 PrismML 的立場恰好倒過來——1-bit 不是訓練結束後才補上的壓縮手段,而是從第一步就以二元權重打造的原生架構。這套論述若站得住,手機、機器人與穿戴裝置裝得下的本地模型等級,會直接跳上一階。

全程 1 位元:不替高精度留後路

低位元產品在市場上多半摻雜高精度零件,掛著 1.58-bit 招牌的做法,常常在最吃重的層裡續用 FP16。PrismML 對 Bonsai 的宣稱則是「true 1-bit, end to end」:embedding、attention 層、MLP 層直到 LM head,每一處都是 1 位元,也就是「沒有高精度逃生門」。系列共三種尺寸——8B(1.15 GB)、4B(0.5 GB)、1.7B(0.24 GB)——全部以 Google TPU v4 完成訓練。

白皮書另外提到一項更遠期的紅利:1-bit 專屬硬體一旦成真,乘法能被加法取代,能耗與延遲還有機會再降一截。

70.5 分的兩種讀法:絕對成績與密度指標

先把難看的部分攤開:Bonsai 8B 的基準平均落在 70.5,追不上 Qwen3 8B 的 79.3。分項依序為 MMLU Redux 65.7、MuSR 50.0、GSM8K 88.0、HumanEval+ 73.8、IFEval 79.8、BFCLv3 65.7。純比絕對分數,這一局確實居於下風。

PrismML 於是端出另一種量法:intelligence density,把錯誤率取負對數再除以模型體積。套入之後,Bonsai 8B 得到 1.06/GB,Qwen3 8B 只有 0.10/GB,相差 10.6 倍。對儲存與記憶體都吃緊的裝置而言,決定模型「裝不裝得下、跑不跑得動」的正是這個數——Qwen3 8B 的 FP16 權重重達 16.38 GB,手機裡根本挪不出空位。

實測:吞吐量、耗電與工具呼叫

官方量測的成績單:M4 Pro Mac 每秒 131 token、RTX 4090 每秒 368 token、iPhone 17 Pro Max 約 44 token、iPhone 17 Pro 約 40 token;拿來對照的 16 位元 1B 模型僅 23 token——換句話說,在旗艦手機上,8B 級的 1-bit 模型反而跑贏 16 位元的 1B 模型。耗電部分,M4 Pro 每個 token 0.074 mWh、iPhone 17 Pro Max 0.068 mWh,整體能源效率據稱提升 4 到 5 倍。

代理情境的展示更具說服力:同一批工具呼叫任務,Bonsai 8B 完成 50 項,一般的 16 位元 8B 模型只完成 6 項。這些數字若經得起檢驗,最先受惠的會是離線代理類應用——它們卡住的地方從來不是推理本領,而是有用的模型根本放不進裝置。

技術出處與資金組成:Caltech 血統、創投下注

Bonsai 的技術脫胎於 Caltech 的研究,IP 透過專屬授權取得;共同創辦人 Hassibi 在 Caltech 任教,並親自擔任 CEO。出資方為 Khosla Ventures 與 Cerberus Ventures,另有 Google 與 Caltech 提供的算力補助——一家把賭注押在「模型更小」的公司,同時收下了「把模型做大」陣營的資金。

Vinod Khosla 的講法是:「AI 的未來不會由誰能蓋出最大的資料中心來定義。」Cerberus 陣營的 Amir Salek(先前是 Google TPU 的負責人)說得更直白:「電力已經成為擴充 AI 資料中心的最終瓶頸。」Hassibi 對路線的描述相當自制:「我們把 1-bit 視為起點,而非終點。」

站在開發者角度:三個立即的影響

實際衝擊有三。首先,部署當天即可打通:Apple 設備走 MLX,NVIDIA 硬體用 llama.cpp 的 CUDA 後端,Windows 與 Linux 則以 GitHub 為起點。其次,Apache 2.0 讓商業使用不附帶任何條件——離線翻譯、裝置端摘要、本地代理這類產品可以直接蓋在 Bonsai 上面,法務審查這一關整個省掉。最後,70.5 的平均分本身就是選型提醒:它屬於「密度優先」的模型,劇本裡沒有取代雲端旗艦這回事——該計較的是每 GB 換得多少能力,而不是絕對 SOTA。

資料來源

AGENTIC COMMONS由 PHLEGON LABS 經營
分享X電郵
支持我們

相關閱讀

  1. Cohere Tiny Aya:33.5 億參數、70+ 語言的本機開源模型

    Cohere Labs 於 2026 年 2 月 17 日釋出 Tiny Aya 開源多語模型:33.5 億參數、支援 70+ 語言、可在一般硬體本機運行,並選在印度 AI Impact Summit 期間登場。本文解析架構、部署方式與 CC-BY-NC 授權限制。

    Open Models

  2. GLM-5.3 權重開放下載:753B 旗艦的本地部署現實

    2026 年 8 月 25 日,Z.ai 把 753B 參數的 GLM-5.3 權重放上 Hugging Face,三天後在 Hacker News 衝上 806 分。本文解析其 MoE 架構、自訂授權條款與本地部署實測。

    Open Models

  3. Qwen3.8-Flash-Next 發表:新架構把啟用參數壓到 6B

    2026 年 8 月 26 日,Qwen 開源 Qwen3.8-Flash-Next:125B 主模型加 51B n-gram 嵌入表,每個 token 只啟用 6B 參數,原生 262K 上下文,官方定位是極致成本效率。

    Qwen