摘要： Goodfire 研究員 Nick Cammarata 在 2026 年 10 月 16 日 TechOrange 報導的長文中提出工作假說：語言模型 Qwen3-32B 約九成神經元其實只負責一項主任務，「神經元亂塞概念」的疊加理論可能是誤讀。如果屬實，可解釋性研究可以直接觀察原始網路，不必先訓練替代模型。對做產品的人來說，這影響的是我們未來能多快看懂模型的判斷理由。
被推翻的，可能是自己提出的經典案例
過去學界主流看法是「疊加」：神經元不夠用時，模型會把互不相干的概念摺進同一個神經元，例如影像模型裡同時對貓臉和汽車車頭反應的神經元。照這個理論，研究者得先「解開結」才能研究模型內部，於是發展出稀疏自編碼器等第二層工具，模擬網路解開後的樣子。
Cammarata 日前發表長文挑戰這個假設，而他要推翻的案例之一，正是自己 2019 年與 Chris Olah 共同提出、後於 2020 年〈Zoom In〉發表的研究——「汽車」特徵看似分散在一群「狗」神經元裡。他現在認為那只是泛化與組合的誤讀，並指出至今沒有人發表過第二個符合疊加形態的電路。
問題可能出在工具，不在神經元
他的核心證據是：同一個 InceptionV1 網路，用早期工具約只有 5% 神經元可解讀；換更好的工具約 50%；用現代正則化重訓練後約 70%；換成同參數量的 ConvNeXt 則達約 99%。他另外訓練三個規模相差約 300 倍的 ConvNeXt，每個規模都能解讀——空間不足時，網路讓神經元涵蓋較粗的概念（例如一個神經元負責多種汽車），而不是把不相干的東西摺在一起。
對於看起來「一個神經元做幾件事」的情況，他提出「遞迴泛化」：神經元會像樹枝分岔，往相關方向長出分支，例如從偵測「iy」延伸到「diy」再到「do it yourself」。泛化把相似的東西歸在一起，疊加則相反，幾乎透露不出資訊。因此他建議把疊加排在解釋順序的最後——先懷疑解讀工具不夠好、模型沒學好，或是遞迴泛化。
語言模型的初步數據
在 Qwen3-32B 的初步審計中，Cammarata 團隊估計約 90% 的神經元方向只有一項主任務，約 7% 有兩項相關工作，2 到 4% 尚未理解。他稱密集模型與 MoE 架構結果大致相似，並在 Kimi K3 等兆級模型中看到類似現象，甚至公開了一張只用原始神經元繪製的兆級模型歸因圖——模型被問到撿到錢包怎麼辦時，圖上能看到它把錢包、現金、失主證件連結到「失物」與「誠實」，最後回答歸還。
直接用原始神經元還有一個好處：沒有替代模型的「重建誤差」。他引述，Anthropic 最大的轉碼器只有一半時間能預測出與原模型相同的下一個詞。這和我之前寫過的思路相通——與其依賴層層包裝的間接代理，能直接調整和觀察底層本身，往往是更好的起點（把 GPU 推論從黑盒子拉回可調參數）。
在論文發表前，值得保留的判斷
幾個保留意見要記住：這是定位為「工作假說」的長文，詳細技術論文尚未發表，數字沒有第三方驗證，Cammarata 也承認「一件事」的判定門檻會影響結果；他重做當年在 OpenAI 發起的 GPT-2 XL 研究，也只有約 5% 神經元完全純粹。兆級模型還沒有完整審計。另一個事實是，Goodfire 本身就是做可解釋性監控的新創，10 月 8 日剛推出以 Kimi K3 為基礎的代理監控工具。
不過即使數字日後修正，「把疊加放到最後才考慮」這個方法論建議本身就夠有用：遇到看不懂的模型行為，先檢查自己的測量工具，再假設模型內部一團亂。等技術論文出來，值得再回頭看一次。