Open Source

Guide Labs 開源 Steerling-8B:把可解釋性做進模型本身

2026 年 2 月 23 日,Guide Labs 開源 80 億參數的 Steerling-8B,把約 13 萬個概念的結構層直接蓋進模型架構,每個 token 都能回溯到輸入、概念與訓練資料,用更少算力勝過 LLaMA2-7B。可解釋性從事後分析變成工程問題。

Guide Labs 開源 Steerling-8B:把可解釋性做進模型本身 — 文章封面
本頁內容6 個段落
  1. 把可解釋性蓋進架構,而不是事後分析
  2. 每個 token 都能回溯出處
  3. 效能代價比想像中小
  4. 公司背景與路線圖
  5. 開發者今天就能拿到的東西
  6. 參考來源

2026 年 2 月 23 日,舊金山新創 Guide Labs 釋出 Steerling-8B:一個 80 億參數、以「天生可解釋」為設計目標的基礎模型。權重放上 Hugging Face,程式碼放上 GitHub,另有 PyPI 套件。TechCrunch 稱它為「一種新的可解釋 LLM」——不是訓練完再做事後分析,而是把可解釋性直接寫進架構裡。

對開發者而言,意義在於:模型行為第一次變成可以逐條檢查、逐條修改的工程問題,而不是黑盒子裡的神經科學。

把可解釋性蓋進架構,而不是事後分析

傳統做法是對訓練好的網路做事後解剖。Guide Labs 執行長 Julius Adebayo 的說法直白:「大家做的可解釋性,是對模型做神經科學;我們把它整個翻轉。」他在 MIT 攻讀博士時共同撰寫的 2018 年論文,正是證明既有深度學習可解釋方法並不可靠的那一篇。

Steerling-8B 的做法是在模型裡插入一個概念層:嵌入會分解成約 3.3 萬個有人工標記的「已知概念」、約 10 萬個模型自行學到的「發現概念」,再加上一個殘差項。概念經由線性路徑餵進 logits,因此每個預測都能精確拆解成每個概念的貢獻,而且推論時可以直接增刪、組合概念來改變模型行為,完全不需要重新訓練。

每個 token 都能回溯出處

任何一組生成的 token 都能往三個方向回溯:輸入提示裡哪些 token 影響了它、命中了哪些人類可讀的概念(包括語氣類如「分析型」「臨床型」,以及內容類),還有訓練資料來自哪個語料庫——ArXiv、Wikipedia、FLAN 等。

數字面更有說服力:超過 84% 的 token 級貢獻流經概念模組;把殘差路徑整個移除,LM Harness 的成績只有些微下滑;在保留驗證資料上,已知概念的偵測達到 96.2% AUC。換句話說,概念層不是裝飾品,它承載了模型大部分的決策路徑。

效能代價比想像中小

可解釋模型的歷史包袱是「拿準確度換透明」。Steerling-8B 用 1.35 兆 token 訓練,主幹是因果離散擴散模型,可以在多個 token 的區間上做引導,而不只限於下一個 token 的預測。官方數據:以更少的 FLOPs,平均表現超過 LLaMA2-7B 與 Deepseek-7B;和用 2 到 10 倍算力、2 到 7 倍資料量訓練的模型相比仍具競爭力。

Adebayo 對 TechCrunch 表示,訓練可解釋模型「已經不是一門科學,而是工程問題」,而且沒有理由這類模型做不到前沿規模的表現。公司宣稱它已達到現有模型約九成的能力,且用了較少的訓練資料。

公司背景與路線圖

Guide Labs 是 Y Combinator 校友公司,2024 年 11 月由 Initialized Capital 領投 900 萬美元種子輪,兩位創辦人是執行長 Julius Adebayo 與科學長 Aya Abdelsalam Ismail。接下來的計畫包括更大型的模型、API 與代理式存取,以及以 Steerling 指令微調版本驅動的 Clarity 平台。官方部落格也預告一系列深入主題:概念引導、概念發現、不做微調的對齊(用概念層級的介入取代安全微調)、記憶化與訓練資料估價。

應用場景相當具體:封鎖版權內容、控制暴力或藥物相關輸出、受監管產業的模型(貸款模型該看財務紀錄而不是種族),乃至蛋白質折疊這類科學用途。團隊也持續追蹤模型自行「發現」的概念——例如量子運算——這些是模型在訓練中自己長出來的類別。

開發者今天就能拿到的東西

權重在 Hugging Face(guidelabs/steerling-8b),程式碼在 GitHub(guidelabs/steerling),還有 PyPI 套件可直接安裝。對需要做輸出控制、模型除錯或合規說明的團隊,這是一個可以拆開來研究的完整參考實作。兩點留意:訓練資料本身未隨本次發布開源,授權條款也未在文章中明列,商用前需要自行確認。

參考來源

本文由 AI 協助自上述來源整理,經人工審核後發布。

分享X電郵