摘要： Ai2 於 2026 年 6 月 29 日發表 DiScoFormer，用一個 Transformer 的單次前向傳播同時估計機率密度與分數，並以分數等於對數密度梯度的一致性規則進行免標籤校正。作者宣稱在 100 維實驗中，分數誤差比最佳調校 KDE 小約 6.5 倍，密度誤差小超過 37 倍。
DiScoFormer（Density and Score Transformer）是 Ai2 於 2026 年 6 月 29 日透過部落格發表的模型：只需一個 Transformer，便能從有限樣本一口氣估出機率密度與分數。背後的技術報告最初在 2025 年 11 月掛上 arXiv，2026 年 6 月已修訂到第四版，並入選為 ICML 2026 口頭報告。
密度說明資料集中在哪裡；分數則是對數密度取梯度後的產物，擴散模型、貝氏取樣與粒子模擬都由它驅動。把幾乎任何生成式模型或一大類科學運算任務拆到底層，估的往往就是這兩個量。它們本是同一個對象的兩種看法——「一次把兩者都算出來」的方法之所以值得關注，道理就在這裡。
過去的兩難：免訓練，還是高維度下的準確
核密度估計（KDE）是長年的標準配備：完全不必訓練，樣本一到就能開算，只是維度一高就迅速失準。神經分數匹配模型能在高維度維持準度，卻要付出代價——分布一變動，就得整個從頭再訓。實務上這筆帳特別難算：新的資料集、更新後的後驗分布、模擬中的物理系統，各自都是一個新分布。DiScoFormer 的企圖正是把兩種長處收進同一個模型：先訓練一次，之後遇到任何新分布都能直接推論，個別問題不必再重訓。
做法：一個主幹、兩個輸出頭，加上免標籤的一致性損失
模型接收整組樣本，讓它流經共用的 Transformer 主幹，單次前向傳播便同時交出密度與分數；要在任意查詢點取值，靠的是交叉注意力。由於全部樣本都在上下文裡，模型會先掌握分布的整體輪廓，才逐一回應各個查詢點，而不是把每個點拆開來各判各的。就理論而言，單一注意力頭的權重便能逼近高斯核，因此單獨一個交叉注意力區塊就足以重現 KDE——DiScoFormer 把 KDE 推廣開來，而不是將它丟棄。
兩個輸出頭之間有一條物理規則必須成立：分數得等於對數密度的梯度。頭與頭之間任何對不上的地方，都能直接拿來當作免標籤的一致性損失，甚至到了推論階段還能繼續把它壓低，讓模型在訓練沒涵蓋的分布上自行調整——彷彿內建一道物理檢查，而且從頭到尾用不到任何正確答案標籤。訓練資料則由高斯混合分布自動供應：每個批次抽出一個新的混合分布，封閉解一併給出密度與分數，監督訊號形同無限量供應；再因為高斯混合能把任何密度逼近到任意程度，訓練分布永遠取之不盡。
高維度實測：分數誤差縮小約 6.5 倍，密度誤差縮小超過 37 倍
在 100 維的實驗裡，DiScoFormer 的分數誤差比最佳調校的 KDE 小了約 6.5 倍，密度誤差的差距更超過 37 倍；維度愈往上加，這段差距還會繼續拉開。樣本數一路增加時，它的表現持續進步，KDE 卻率先撞上記憶體天花板——核方法必須把每個樣本點都存起來、逐一比對，開銷跟著資料量上升，固定大小的 Transformer 則只是多消化一些證據。對訓練時沒出現過的更高混合數，它照樣延伸得過去；拉普拉斯、Student-t 等非高斯形狀也難不倒它。話雖如此，小資料集上 KDE 依舊更快，低維度、小樣本的快速檢視仍屬它最擅長的場景。
這對生成模型與科學運算意味著什麼
技術報告把 DiScoFormer 定位成即插即用的預估器：訓練一次之後，推論時就能套用到任何分布與樣本量，並示範了分數去偏 KDE 與 Fokker-Planck 偏微分方程等下游應用。對必須一而再、再而三估計密度與分數的團隊而言，「換一個分布就重訓一個模型」的開銷從此可以省下——眼下「每個實驗訓一個小分數網路」的習慣做法，可能收攏成載入預訓練估計器、跑一次前向傳播。擴散模型、貝氏推論與科學運算也因為這個模型，多了一塊得以共用的底層積木；而能站上 ICML 口頭報告，代表方法論社群同樣看見了這份潛力。