AGENTIC COMMONSAI 產業簡報

繁中EN

主題AI 代理與工作流出版

返回文章列表

Thinking Machines 互動模型:把即時對話訓練進模型本體

本頁內容7 個段落
  1. 互動能力為何必須內建於模型
  2. 架構解析:以 200 毫秒為單位的微回合
  3. 雙模型分工:前台即時互動,幕後負責思考
  4. 基準檢驗:贏在哪裡、輸在哪裡
  5. 社群反應、限制清單與時程
  6. 開發者如何解讀
  7. 資料來源

摘要: 5 月 11 日,Thinking Machines Lab——由 Mira Murati(前 OpenAI 技術長)創辦的公司——貼出長篇研究文章《Interaction Models》,主張一條名為「互動模型」(interaction models)的路線:即時互動的能力不用語音活動偵測這類外部工程去拼湊,而是直接訓練進模型本體。研究預覽的第一號模型 TML-Interaction-Small,是一顆總參數 276B、每次只啟動 12B 的 MoE,語音、視訊與文字都能同時接收、同時輸出。

5 月 11 日,Thinking Machines Lab——由 Mira Murati(前 OpenAI 技術長)創辦的公司——貼出長篇研究文章《Interaction Models》,主張一條名為「互動模型」(interaction models)的路線:即時互動的能力不用語音活動偵測這類外部工程去拼湊,而是直接訓練進模型本體。研究預覽的第一號模型 TML-Interaction-Small,是一顆總參數 276B、每次只啟動 12B 的 MoE,語音、視訊與文字都能同時接收、同時輸出。

文章衝著當前所有即時語音產品共享的架構前提而來:全雙工互動不該由管線負責,該由權重負責。正在做語音代理或即時產品的團隊,等於收到了一則方向清楚的訊號。

互動能力為何必須內建於模型

目前的對話系統都以回合制運作:模型一旦開始生成就停止感知,即時感全靠 VAD、輪替策略、打斷規則這些外部機制拼湊。實驗室拿「苦澀教訓」(bitter lesson)來支撐核心論點:這類手工工程不會隨模型智力等比例變強,唯有讓互動本身成為模型能力,才追得上規模化曲線。互動模型讓模型一邊感知、一邊生成——靜默、說話重疊、中途插話全都留在上下文中,人為畫出的回合邊界就此消失。

架構解析:以 200 毫秒為單位的微回合

關鍵機制叫時間對齊微回合(time-aligned micro-turns):模型每 200 毫秒交錯進行一次輸入處理與輸出生成,對話節奏的資訊因此完整寫入上下文。架構走 encoder-free 的早融合設計:語音先變成 dMel tokens,由一層輕量嵌入送進模型;影像被切成一格格 40x40 的 patches,交給 hMLP 編碼;語音解碼則由 flow head 完成;所有元件從零開始共同訓練。工程投入同樣紮實:串流推導構築在 SGLang 之上(改動已回饋上游)、批次不變核心讓訓練與取樣一致到每個位元,另外還自力寫出 gather+gemv 的 MoE 核心與基於 NVLS 的通訊核心。

雙模型分工:前台即時互動,幕後負責思考

系統層交給兩個模型分工:互動模型守在前台即時應對,長程 agentic 任務、瀏覽、工具呼叫與推理則交由非同步的背景模型處理;雙方共享同一份上下文,背景模型的產出會在恰當時機串流回對話。數據顯示這套分工確實奏效:BigBench Audio 在背景代理加入後從 75.7 躍升至 96.5;FD-bench v3 更以 82.8/68.0 拿下最佳成績——等於只花非思考模型的延遲,就取得推理模型的智力。

基準檢驗:贏在哪裡、輸在哪裡

在 FD-bench v1.5 上,互動品質拿到 77.8,同場對手依序為:Qwen 3.5 OMNI 39.0、Gemini-3.1-flash-live(minimal)54.3、GPT-realtime-1.5 48.3,以及 GPT-realtime-2.0(minimal)46.8;回合接管延遲以 0.40 秒居全場之冠,其他模型則散布在 0.57 到 2.14 秒之間。領先並非全面:Audio MultiChallenge 的 43.4 只在「即時」組別中排第一,GPT-realtime-2.0 的 xhigh 版本以 48.5 站得更高;IFEval 文字項目 89.7,也不及 GPT xhigh 繳出的 95.2;至於 HarmBench,99.0 的拒答率是很明顯的強項。實驗室另外公布一批對手幾近掛零的新基準:CueSpeak 81.7 對 2.9、TimeSpeak 64.7 對 4.3、Charades mIoU 32.4 對 0、RepCount-A 35.4 對 1.3。

社群反應、限制清單與時程

這篇研究在 Hacker News 累積 334 點。人氣最高的示範是「耐心」:使用者講到一半暫停去喝咖啡,模型便安靜等候。留言者 vessenes 指出,模型大小約為 GPT-5.x 系列與 Opus 4.7 的十分之一,放大空間還很充足;swyx 則提醒,公開出來的架構只是冰山的一角,真正的門檻藏在 RL 基礎設施與資料配方裡;也有人批評示範情境過於刻意、延遲仍嫌偏高。實驗室自己點出的限制包括:長時間對話的上下文管理、對連線的依賴、即時的安全對齊、模型規模放大,以及雙模型之間的協作。時程方面,研究預覽將於未來數月開放,更大的模型預計今年稍後登場,針對互動基準的研究補助也會隨之啟動。

開發者如何解讀

實務上有三個影響。首先,語音產品的評估得換一把尺:以回合制運作的 ASR-TTS 管線,其指標根本量不到微回合的行為,FD-bench 這類測法遲早成為業界標準。其次,中間件的價值空間遭到擠壓:由打斷偵測與輪替策略組成的那一層 scaffolding 日後很可能被模型原廠整段收編。最後,來到 2026 年,模型之間的較勁不再只看智力——即時性已經成為一條獨立的競爭軸線,這也呼應了年初對模型競賽持續加速的判斷。

資料來源

AGENTIC COMMONS由 PHLEGON LABS 經營
分享X電郵
支持我們

相關閱讀

  1. DeepMind GenCeption:影片生成模型就是通用視覺學習器

    Google DeepMind 提出 GenCeption,把文字轉影片擴散模型改造成可用文字指令驅動的通用前饋感知模型,在深度、分割、相機姿態等任務達到 SOTA,所需訓練數據最多減少 500 倍。

    Google DeepMind

  2. 內省式擴散語言模型 I-DLM:首次追平同規模自回歸模型

    Together AI 與 UIUC、Stanford 等團隊提出 I-DLM,用內省式跨步解碼讓擴散語言模型邊生成邊驗證,8B 版在 15 項基準追平 Qwen3-8B,AIME-24 大勝 LLaDA-2.1-mini,還能直接跑在 SGLang 上。

    Machine Learning

  3. NVIDIA 開源 Nemotron 3 Super:120B 混合 MoE 模型瞄準 Agent 推論吞吐

    NVIDIA 於 2026 年 3 月 11 日開源 Nemotron-3-Super-120B-A12B:混合 Mamba 與 Latent MoE 架構、1M token 上下文、每秒 478 token 輸出,連同訓練資料集與 RL 環境一併釋出,瞄準 Agent 工作負載的推論成本。

    NVIDIA