摘要： Ai2 比較 7B 規模的 Olmo 3 與 Olmo Hybrid。兩者使用相同訓練資料、詞表與訓練配方。逐 token 結果顯示混合模型在內容詞與語意狀態任務上領先，但在長段逐字複製與右括號上優勢消失。
混合架構語言模型究竟在什麼地方勝過純 Transformer？這個熱門問題，Ai2 用一個少見的精準做法給了答案。2026 年 6 月 25 日，該團隊刊出《Which tokens does a hybrid model predict better?》，並附上技術報告《Comparing Transformers and Hybrid Models at the Token Level》——由 Yanhong Li 與 William Merrill 撰寫，6 月 18 日先行上傳 arXiv。
若只把混合模型與純 Transformer 的平均損失互相比較，得到的只是一個概括總分。這份研究換了一種算法——一格一格地比：讓兩個模型讀進同一段文字，看它們各自給「下一個正確 token」多少機率。團隊算出每一個 token 的損失差：數字為正，代表混合模型猜得較準；為負，則是純 Transformer 佔上風。接著把 token 依類型分組，檢視其中的型態。
對照設計：除了架構，其餘全部相同
實驗主角是 Olmo 3（純 Transformer，7B）與 Olmo Hybrid。這一對刻意使用同一份訓練資料、同一套詞表與同一份訓練配方，所以任何預測差異都能明確歸因到架構本身。團隊另外備妥三個 1B 模型——純 Transformer、混合模型，以及完全拿掉注意力機制的純循環模型——藉此把兩種元件個別的作用拆開來看。
語料同時橫跨散文與結構化文字：散文有新聞、維基百科、書籍和論文，結構化文字則包含 Python、HTML 與 LaTeX。分析時先把 token 依詞性與結構分組、算出各組平均差距，再用迴歸把詞頻、重複出現這類干擾變因控制住，確認觀察到的型態並非統計上的巧合。
內容詞是混合模型的主場
從結果看，混合模型在多數 token 類型上都拿到較低的損失，而差距拉得最開的正是內容詞：名詞、動詞、形容詞的損失差距約 0.04，功能詞則只有大約 0.02。副詞、形容詞和存在句裡的 there，差距特別突出，可見混合架構的長處緊扣著語意理解。
論文中另一組合成探針實驗還顯示，在代名詞記憶與實體追蹤這類任務上，混合模型表現較好。作者對此的解讀是：循環層善於把貫穿整份文件的語意狀態維持住，所以對「必須讀懂上下文語意才預測得準」的 token 幫助最大——而這種 token 往往就是撐起句意的關鍵。
佔不到便宜之處：逐字複製與右括號
有兩種 token 幾乎吃不到混合模型的優勢。其一是逐字複製——凡是從前文一字不變重現的 n-gram，重複跨度拉得越長，兩邊差距就越貼近零。其二是右括號——混合模型在左括號上仍領先，碰到右括號優勢卻不見了；而且這個現象在自然語言、程式碼、標記語言裡一律成立，說明括號配對這件事，光靠注意力機制就足夠辦到。
1B 實驗把界線畫得更清楚：在不重複、帶有語意的 token 上，混合模型與純循環模型雙雙勝過純 Transformer，其中又以混合模型最好；可是一旦換成重複出現的 token，純循環模型反而落到兩者之後。這組對照把結論指向同一處：複製本領主要出自注意力機制，語意狀態追蹤則是循環層的拿手項目。
這對模型開發者意味著什麼
平均損失好比望遠鏡，只報得了總分、看不見內部結構；這篇研究遞來的是顯微鏡——按類別拆開的 token 損失在預訓練初期就算得出來，不用苦等整輪訓練收尾。對正為注意力層與循環層該怎麼配比而傷腦筋的團隊而言，這套方法讓「混合架構比較強」不再是口號，而是可量測、可持續追蹤的訊號。
對開放模型社群來說還多一層價值：整個實驗都架在 Ai2 公開釋出的 Olmo 權重與訓練配方上，任何人都能重現、也能延伸這套分析。這種對照實驗之所以成立，關鍵正在於資料與配方能做到完全對齊——換成閉源模型，這一步根本無從做起。