摘要: 阿里巴巴Qwen團隊在3月30日推出原生全模態模型Qwen3.5-Omni,以同一條管線接收文字、影像、音訊與視訊,並即時輸出語音。產品分Plus、Flash、Light,語音辨識涵蓋113種語言與方言,語音生成達36種。官方基準和穩定性結果尚未獨立驗證,且這代旗艦目前以API、Qwen Chat與展示為主,權重未開源。
3 月 30 日,阿里巴巴 Qwen 團隊推出 Qwen3.5-Omni。這是一款原生(native)的全模態模型——把文字、影像、音訊與視訊放進同一條輸入管線,模型直接開口說話、即時輸出語音,中間不用先把語音轉成文字、再送進另一套語言模型。產品分 Plus、Flash、Light 三種版本,旗艦 Plus 號稱在 215 項子任務中繳出最佳成績。
對做產品的人來說,賣點不在「又多了個多模態模型」,而在「原生」二字:語音的理解與生成既然全在模型內部一次完成,延遲、情緒表達、對話輪替這些過去得靠外掛元件拼出來的體驗,頭一回寫進了模型自己的規格。
全模態做在骨子裡,不是事後加裝
架構走 Thinker-Talker 設計,疊上 Hybrid-Attention 混合專家(MoE),而不是在文字骨幹後面接一顆現成的語音編碼器。聽覺這端交給原生的 Audio Transformer(AuT)編碼器,光是預訓練就餵進了逾 1 億小時的音訊跟視訊素材。
規格重點:上下文 256K;音訊能連續輸入超過 10 小時;視聽內容則能處理 400 秒以上、每秒取樣 1 幀的 720p。對應的場景都很實在——會議逐字稿、長訪談的分析、長時數的監控摘要,這些從前得切段才能消化的素材,現在單次推理就能整份吃下。
三種版本的分工與官方數字
三個版本各有職責:Plus 承接的是高複雜度推理,Flash 訴求高吞吐、低延遲,Light 把效率擺第一位。官方的部落格與技術報告給出的基準如下:VoiceBench 93.1;語音辨識於 LibriSpeech、FLEURS、WenetSpeech 與 CommonVoice 都取得領先;其餘還有 RealWorldQA 84.1、MMLU-Redux 94.2、IFEval 89.7、MVBench 79.0 與 OCRBench 91.3。
和 Gemini 3.1 Pro 對比,官方宣稱在一般音訊理解、推理與翻譯勝出,音訊視覺理解則打成平手;另一項跑遍 20 種語言的語音穩定性測試,同樣宣稱低於 GPT-Audio、Minimax 與 ElevenLabs。不過,這些全是官方數字,獨立驗證還沒出爐,採用前還是得靠自家 workload 的實測結果把關。
語言版圖 113 種,互動講究即時
這一代跳得最明顯的是語言覆蓋:語音辨識從上一代的 19 種語言與方言一舉擴到 113 種,語音生成也從 10 種拉到 36 種。
論即時互動,細節同樣有看頭。串流語音與文字的對齊由 ARIA(Adaptive Rate Interleave Alignment)負責穩住;對話輪替屬原生能力,分得出「嗯嗯」是附和還是真的要插話。這些本領直接做進 API,不必留給下游自己補。API 上另有語音複製,還有原生網頁搜尋跟函式呼叫。
Audio-Visual Vibe Coding:沒教就會的本事
全場最搶眼的是「Audio-Visual Vibe Coding」:把介面問題拍下來、開口把需求講一遍,模型就交出能直接跑的 Python 或是前端原型。阿里特別說明,這項本事「未經專門訓練」,是從全模態預訓練裡自然湧現的。
湧現不等於可靠,但它點出一個新的互動假設:輸入頻寬一旦從純文字擴及「語音加畫面」,除錯跟做原型就可以離開鍵盤了。對行動場景與非工程背景的人,這比基準分數更貼身。
權重開不放,路線的分岔
想用它,管道有三個:Alibaba Cloud API、Qwen Chat,還有放在 Hugging Face 的展示。權重開不放則是另一回事,目前訊號偏保守。WinBuzzer 的報導指出,阿里這一代維持閉源,只提供 API 與展示。年初的2026 開年觀察裡我們就提過,模型公司之間開源與閉源的路線分歧今年持續擴大:Qwen 靠開源累積出生態,這回卻讓旗艦全模態能力轉向閉源,把最先進的多模態本領收回計費牆內。
對以 Qwen 開源權重為根基的團隊而言,這個分岔非追蹤不可:開源線跟閉源旗艦的能力落差,畫出的正是自架與呼叫 API 之間的成本邊界。
