摘要： Google 於 2026 年 6 月 10 日以 Apache 2.0 開源實驗模型 DiffusionGemma，宣稱專用 GPU 上文字生成最快達自回歸模型 4 倍，單張 H100 每秒可超過 1,000 個 token。不過多數基準落後同架構 Gemma 4，高 QPS 雲端服務也可能因平行解碼效益遞減而提高成本。
2026 年 6 月 10 日,Google 推出一個實驗性質的開源模型 DiffusionGemma,「文字擴散」(text diffusion)這條路線就此併入 Gemma 家族。它拿 Gemma 4 當架構底盤,研究成果承襲 Gemini Diffusion,以 Apache 2.0 授權釋出,權重已掛上 Hugging Face(google/diffusiongemma-26B-A4B-it)。
它的主打只有一項,但力道很足:速度。在專用 GPU 上,文字生成最快來到自回歸模型的 4 倍;單張 H100 每秒能產出超過 1,000 個 token;消費級的 RTX 5090 同樣有 700 以上的表現。
擴散式生成的速度從哪裡來
自回歸模型一次只輸出一個 token,記憶體頻寬因此成了繞不開的關卡。DiffusionGemma 換了一套做法,改成在「畫布」(canvas)上生成:一開始鋪上 256 個隨機的佔位 token,接著輪番迭代修整——每一輪都把已經確定的 token 鎖進下一輪的上下文,持續到整體輸出收斂為止。雙向注意力讓每個 token 都看得見彼此,瓶頸也就從記憶體頻寬挪到了算力。模型卡進一步交代實作細節:prefill 交由自回歸編碼器負責,並保留 KV cache;解碼端則對畫布施以雙向注意力。低批次、FP8 的設定下,單張 H100 可以衝上每秒 1,100 token 以上。
雙向生成也特別適合「非線性」的任務:行內編輯、程式碼 infilling、胺基酸序列、數學圖形都在列。Unsloth 微調出的版本甚至解得開數獨——官方點出,這正是自回歸模型處理起來相當費力的任務。
26B-A4B:放得進消費級顯卡的 MoE 規格
規格屬於 26B-A4B 的 MoE。模型卡記載,總參數量約 25.2B,推理時每次只啟動 3.8B;128 個專家中挑 8 個上場,另配 1 個共享專家。它同時是多模態的 image-text-to-text 模型:內含約 550M 參數的視覺編碼器,影片支援到 60 秒,上下文長 256K,詞彙表有 262K,35 種以上語言開箱就能用(預訓練語料則含 140 種)。量化之後,官方形容它「舒服地塞進 18GB VRAM」,亦即高階消費級顯示卡的容量範圍。
代價在品質:多數基準仍趕不上 Gemma 4
這筆代價 Google 自己攤開來講。對上同架構的 Gemma 4 26B-A4B:MMMU Pro 為 54.3% 對 73.8%、AIME 2026(無工具)為 69.1% 對 88.3%、GPQA Diamond 為 73.2% 對 82.3%、MMLU Pro 為 77.6% 對 82.6%;唯一勝出的項目是 HLE 無工具,拿到 11.0% 對 8.7%。官方的建議很乾脆:應用若以最高品質為先,就直接用標準版 Gemma 4。提速的適用範圍同樣有邊界:這批數字針對的是本地與低併發推論;到了高 QPS 的雲端服務,平行解碼「效益遞減,甚至導致更高的服務成本」,Apple Silicon 統一記憶體機種也分不到同等加速。取樣策略上,官方點名 Entropy-Bounded Denoising:步數上限 48,溫度由 0.8 一路衰減至 0.4。
生態系:推論與微調兩端都有工具
推論這端,MLX、vLLM(由 Red Hat 支援)與 Hugging Face Transformers 都已就緒,llama.cpp 則是「即將支援」;微調那端給了三條路:Hackable Diffusion(JAX)、Unsloth 和 NVIDIA NeMo。雲端方面,模型已進駐 Gemini Enterprise Agent Platform 的 Model Garden,也上架了 NVIDIA NIM,並為 RTX 5090/4090、Hopper 與 Blackwell 備妥 NVFP4 kernel。
開發者該怎麼解讀
三件事值得記下。其一,它不是要取代每天在用的主力模型,而是特定場合的提速利器:本地推論、行內編輯、補齊程式碼缺口,以及任何需要全域視野的生成任務。其二,llama.cpp 支援一旦真的落地,消費級硬體跑文字生成的體驗將被改寫——18GB VRAM 的門檻,意味著大部分遊戲卡都搆得到。其三,Google 用 Apache 2.0 把擴散路線攤在全生態面前,等於請整個生態系一起驗證這場架構押注(延伸閱讀:2026 AI 開年展望)。