AGENTIC COMMONSAI 產業簡報

繁中EN

主題AI 安全與防護出版

返回文章列表

Guide Labs 開源 Steerling-8B:把可解釋性做進模型本身

本頁內容6 個段落
  1. 可解釋性長在架構裡,不是訓練後的補救
  2. 每個 token 的出處都查得到
  3. 為透明付出的效能代價,比預期輕
  4. 這家公司與接下來的藍圖
  5. 開發者現在就能上手的資源
  6. 參考資料

摘要: Guide Labs 於 2026 年 2 月 23 日發布 80 億參數基礎模型 Steerling-8B,並提供 Hugging Face 權重、GitHub 程式碼與 PyPI 套件。模型內建概念層,把嵌入拆成已知、發現概念與殘差,超過 84% token 級貢獻流經概念模組,可在推論時追蹤或調整行為。官方稱效能具競爭力並達既有模型約九成,訓練資料並未隨本次發布一併開源,文章也未明列授權條款。

2026 年 2 月 23 日,來自舊金山的新創公司 Guide Labs 對外發布 Steerling-8B——一個從設計之初就把「天生可解釋」設為目標的 80 億參數基礎模型。發布內容一應俱全:Hugging Face 上有權重,GitHub 上有程式碼,PyPI 也提供了套件。TechCrunch 給它的定位是「一種新的可解釋 LLM」:訓練完成後才補做的分析被捨棄,改由架構本身把可解釋性內建進去。

這對開發者意味著什麼?模型行為頭一回落到工程這一側——可以逐項檢視、逐項調整,而不必再對著黑盒子做神經科學。

可解釋性長在架構裡,不是訓練後的補救

過往的慣例,是把已經訓練完的網路拿來解剖。Guide Labs 執行長 Julius Adebayo 講得毫不拐彎:「大家做的可解釋性,是對模型做神經科學;我們把它整個翻轉。」他在 MIT 攻讀博士期間曾與人共同執筆一篇 2018 年論文,那篇論文證明的正是:當時深度學習的既有可解釋方法靠不住。

具體機制上,Steerling-8B 在模型內部安插了一層概念層:嵌入會拆成約 3.3 萬個經人工標記的「已知概念」、約 10 萬個由模型自行學出的「發現概念」,外加一個殘差項。概念沿著線性路徑進到 logits,這表示每一次預測都能被精確化約為各概念分別的貢獻;更實用的是,推論階段便能直接新增、移除或組合概念來調整模型行為,重新訓練完全免了。

每個 token 的出處都查得到

模型生成的任何一段 token,都能循三條線索往回追:輸入提示中的哪些 token 對它起了作用;它觸發了哪些人類讀得懂的概念,語氣類如「分析型」「臨床型」,內容類也一併在列;以及它引用的訓練資料出自哪座語料庫——ArXiv、Wikipedia、FLAN 等。

數據也撐起了這個設計:token 級貢獻有超過 84% 流經概念模組;縱使把殘差路徑整條拿掉,LM Harness 的成績也只輕微下降;在保留驗證資料上,已知概念的偵測水準來到 96.2% AUC。換句話講,概念層絕非擺著好看的裝飾——模型多數的決策路徑都由它承擔。

為透明付出的效能代價,比預期輕

可解釋模型長年背著「以準確度換透明」的宿命。Steerling-8B 的訓練總共用了 1.35 兆個 token,主幹採因果離散擴散模型,因此引導能橫跨多個 token 的區間進行,不必侷限於下一個 token 的預測。官方公布的結果:FLOPs 花得更少,平均表現卻勝過 LLaMA2-7B 與 Deepseek-7B;即使面對動用 2 到 10 倍算力、2 到 7 倍資料量訓練出來的模型,它也站得住腳。

Adebayo 向 TechCrunch 表示,訓練可解釋模型「已經不是一門科學,而是工程問題」,他也不認為這類模型有理由達不到前沿規模的表現。公司自己的說法是:Steerling-8B 已具備現有模型約九成的能力,用的訓練資料反而更少。

這家公司與接下來的藍圖

Guide Labs 出身 Y Combinator,2024 年 11 月完成由 Initialized Capital 領投的 900 萬美元種子輪;創辦人共兩位——執行長 Julius Adebayo、科學長 Aya Abdelsalam Ismail。往後的規劃涵蓋規模更大的模型、API 與代理式存取,以及 Clarity 平台——由 Steerling 的指令微調版本驅動。官方部落格還預告了一系列深入主題:概念引導、概念發現、不做微調的對齊(以概念層級的介入取代安全微調)、記憶化與訓練資料估價。

落地場景也十分具體:攔下版權內容、約束涉及暴力或藥物的輸出、受監管產業的模型(貸款模型該依財務紀錄判斷,而非種族),乃至蛋白質折疊這類科學用途。團隊同時持續留意模型自行「發現」的概念——量子運算即為一例——這些類別並非人為指派,而是在訓練過程中自行浮現。

開發者現在就能上手的資源

權重就在 Hugging Face(guidelabs/steerling-8b),程式碼在 GitHub(guidelabs/steerling),PyPI 上的套件可直接安裝。凡是要處理輸出控制、模型除錯或合規說明的團隊,都能把它視為一份可拆解研究的完整參考實作。兩件事得留心:訓練資料並未隨本次發布一併開源,文章也未明列授權條款,商用前請自行查證。

參考資料

AGENTIC COMMONS由 PHLEGON LABS 經營
分享X電郵
支持我們

相關閱讀

  1. Goodfire 研究員挑戰疊加理論:AI 神經元可能沒有打結

    Goodfire 的 Nick Cammarata 主張多數神經元只做一件事,逼可解釋性研究重新考慮工具與假設的順序。

    AI

  2. 內省式擴散語言模型 I-DLM:首次追平同規模自回歸模型

    Together AI 與 UIUC、Stanford 等團隊提出 I-DLM,用內省式跨步解碼讓擴散語言模型邊生成邊驗證,8B 版在 15 項基準追平 Qwen3-8B,AIME-24 大勝 LLaDA-2.1-mini,還能直接跑在 SGLang 上。

    Machine Learning

  3. PrismML 推出 1-bit Bonsai:把 8B 模型壓進 1.15 GB 的端側 LLM

    2026 年 3 月 31 日,Caltech 衍生新創 PrismML 走出 stealth,發表號稱首款可商業化的端到端 1-bit LLM 家族 Bonsai:8B 旗艦僅 1.15 GB、比 16 位元同級小 14 倍,以 Apache 2.0 開源上架 Hugging Face。

    LLM