摘要： 研究團隊於 2026 年 4 月 13 日發表 I-DLM，稱為第一個在同等參數規模下追平自回歸模型的擴散語言模型。內省式跨步解碼會在一次前向傳遞中同時提出新 token 並回查舊輸出，I-DLM-8B 在 15 項基準與 Qwen3-8B 持平。它相容 SGLang，並發 64 時較先前擴散模型快 2.9 到 4.1 倍。
Together AI、UIUC、Princeton、Stanford 與 UT Austin 的 15 位作者共同署名——Tri Dao、James Zou 這些熟悉的名字都在列，第一作者由 Yifan Yu 和 Yuqing Jian 共同擔任。他們的論文《Introspective Diffusion Language Models》於 2026 年 4 月 13 日登上 arXiv（2604.11035），隔天就擠進了 Hacker News 首頁。這份工作交出的成果名為 I-DLM，按論文的說法，這是第一個能在同等參數規模下與自回歸模型打平的擴散語言模型。
擴散語言模型（DLM）喊了多年的賣點是平行生成：一次前向傳遞就能同時吐出多個 token，吞吐量理應把逐字解碼的 AR 模型甩在後頭。現實是品質始終差一截，多數團隊乾脆守在自回歸那邊。I-DLM 的貢獻分成兩步：先點名落差從何而來，再提出一個不必推翻現有推理基礎設施的修法。
去噪式生成的盲點：互相看不見
DLM 寫東西的方式像反覆修圖：起點是一整條全 MASK 的序列，每一步把位置補回 token。難處在於同一輪會有好幾個格子一起補，補的當下誰也看不見誰——同一段內容，這回補成 A，下回可能成了 B。論文給這種現象起了名字：「內省一致性」（introspective consistency）的破功——模型學會把噪聲清乾淨，卻不記得自己先前落過哪些字。衡量工具是內省接受率：AR 模型回頭核對自己的舊輸出時，接受度約 0.984；SDAR 這類擴散模型掉到 0.699；一般 DLM 則擠在 0.57 到 0.70 這個區間。
AR 為何天生輸出一致
自回歸模型的因果遮罩保證每個 token 只見前文，logit shift 又把訓練與推論兩邊的分佈拉齊——自我一致正是被這兩個設計順手鎖住的。I-DLM 的訓練配方照搬同一套：嚴格因果注意力、名為「Dream shift」的 logit 偏移，加上全遮蔽訓練目標，直接把預訓練好的 AR 權重改造成擴散模型。帳單也短得驚人：I-DLM-8B 用 8 張 H100、兩個 epoch、共 45 億 tokens 就訓完，步長在訓練過程中依課程設計逐步放大（先 N=2、後 N=3）。
ISD：邊提新字、邊驗舊字
主體演算法叫內省式跨步解碼（ISD）。一輪前向傳遞同時做兩件事：在 MASK 位置拋出 N 個新 token，並回頭檢查先前生成的內容；每個位置依 min(1, p(x)/q(x)) 這條規則判定去留——過關的留下，不過關的重寫。這條規則源自 speculative sampling，論文也給出證明：照此解碼，輸出分佈會與原始 AR 模型吻合。另有無損版 R-ISD：掛上 gated LoRA（rank 128），只多付約 1.12 倍的計算，輸出便與基礎 AR 模型逐位元相同——平行解碼至此只扮演單純加速器的角色。
成績單與速度帳
I-DLM-8B 從 Qwen3-8B 改造而來，知識、數學、程式、指令遵循四大類合計 15 項基準與原模型持平；面對上一代 DLM，差距則是單向的：AIME-24 達 69.6，參數量翻倍的 LLaDA-2.1-mini 16B 停在 43.3；LiveCodeBench-v6 一項為 45.7 對 30.4。規模推上 32B 之後，LCB-v6 57.1、AIME-24 83.3、AIME-25 80.0，論文宣稱此一規模已壓過 100B 級的 LLaDA-2.1-flash。速度帳同樣漂亮：面對 LLaDA-2.1-mini 跟 SDAR，並發 64 時有 2.9 到 4.1 倍的速度優勢；在單張 H100 上以並發 32 運行時，單一請求約可拿到 186 到 193 tokens/s。更關鍵的是批次擴展斜率——SDAR 只有 84，I-DLM 衝到 549，批次越大越省，平行解碼承諾的經濟學這回真的兌現了。
SGLang 直接能跑：基礎設施不必重來
以往的 DLM 得綁專用推理引擎，服務端等於整套重蓋。I-DLM 走相反路線：承接 AR 生態累積的優化——先做到相容 SGLang，再往上加：CUDA graphs 一項值 42 到 76%，靜態批次調度再加 11 到 21%，argmax 提案又有 11 到 15%，分頁核心補上 10 到 14%，合計較樸素基線快 2.1 到 2.5 倍。對工程團隊而言帳很好算：過去要重裝推理堆疊，如今換顆 checkpoint 就能上路。原始碼在 GitHub 上以 BSD 3-Clause 條款公開；8B、32B 權重以及 LoRA 介面卡則都可在 Hugging Face 取得。