摘要： MiniMax 於 7 月 31 日發表開源全模態影片模型 H3，可處理文生影片、圖生影片、首尾幀與參考影片，並直接產出原生立體聲。單段最長 15 秒、24fps、預設 768p，可透過官方流程升到 2K。8 月 3 日 H3-Base 權重登上 Hugging Face，但指令解析與 2K 重建模組仍未開源。
7 月 31 日這天,MiniMax 端出 Hailuo 的後繼者 H3,口號喊的是「打破任務與模態之間的邊界」:文字、圖片、影片與音訊都送進同一段上下文裡理解,最後產出的是自帶原生立體聲的影片。公告裡最要緊的一句承諾是權重會在「未來幾天內」公開;8 月 3 日權重如期登上 Hugging Face,ComfyUI 也在同一天宣布 Day-0 支援。
商業影片模型圈的主流路線是封閉權重——只能呼叫 API,按秒付費;H3 則把「開源」兩個字從一句願景變成一張有時程的支票,而且真的兌現了。
從 Hailuo 到 H3:賭注押在任務泛化上
H3 的核心主張就寫在公告裡:「我們相信任務泛化是不可逆的趨勢,架構上的小聰明應該讓位給模型本身的定義方式。」落到功能清單上,就是同一個模型把文生影片、圖生影片、首尾幀與參考影片一併吃下,再加上對白、音效與配樂,一次生成完畢,不必事後另行拼接音訊。
規格是這樣的:單段最長 15 秒、24fps、32kHz 立體聲,預設 768p,原生最高到 2K。2K 的做法頗有巧思——H3 不掛超解析度模組,而是讓基礎模型把自己剛產出的低解析度結果再「重新生成」一遍,官方稱之為 In-Context Regeneration;這件事要配合 H3-VAE 帶來的四倍等效序列長度才成立。官方宣稱,2K 的每秒成本低於主流模型的三分之一。
33B 全模態 Transformer:架構長什麼樣
權重上架之後,Hugging Face 模型卡與 GitHub 把細節全攤了開來:骨幹是一個 33B 參數的稠密單流 Omni-Transformer,其中約 13B 位於 AdaLN 相關分支,推理時可以快取,也可以跳過;編碼器整包復用 Qwen3-VL-32B 的權重,取它第 50 層的隱狀態——開源模型疊開源模型,這裡是很實在的一例。
位置資訊交由橫跨時間、高度、寬度的 3D MM-RoPE 表達;VisualVAE 負責 16 倍空間與 4 倍時間壓縮;AudioVAE 則把 32kHz 立體聲轉成 40Hz 的潛空間 Token,聲音與畫面因此共處同一條序列,訓練與生成都一起進行。兩個開放檢查點對應兩種用法:FL2VA 吃文字或首尾幀,Ref2VA 吃最多 9 張圖、3 段影片與 3 段音訊;對白方面支援 11 種語言。
開放,但不等於全部開放
H3 採用的是 Community License,開放範圍得講精確:三段式架構之中,開源的只有 H3-Base。負責解析指令與前處理的 H3-Context-IR 走託管服務,能把輸出升到 2K 的 H3-Regenerate-2K 尚未開源,稀疏注意力也一併延後釋出。真正拿到手上的,是完整的 768p 管線;2K 還是得走官方 API。
在消費級顯卡上把它跑起來
讓 H3 在社群裡爆紅的,是 ComfyUI 的 Day-0 支援。瘦身手法相當直白:先剪掉約四成調變權重、換成功能等價的查找表,再疊上 int8 量化與自訂核心,峰值 VRAM 便從全精度的 123.6GB 降到 42.5GB,減幅 66%;再配合動態卸載,一張 RTX 3060 就足以在本機運行。SGLang Diffusion 給出的方案則是兩張 RTX 5090,或一張 RTX Pro 6000。
ComfyUI 那篇文章的總結一針見血:「音訊是模型的屬性,不是後處理。」影音既然誕生在同一個模型裡,同步性自然是天生的。
對創作者與開發者意味著什麼
有三件事值得記下。第一,影音一體生成把後期鏈條壓短了——對白、音效、配樂不必分頭生成再費心對齊,11 種語言的對白更是直接內建。第二,開源影片模型能在消費級顯卡上跑,讓本地管線、離線場景與量產工作流都變得實際;Qwen3-VL 編碼器被復用這件事也提醒大家,開源生態的複利正在慢慢累積。第三,授權與模組邊界要看清楚——H3 開的是主幹,2K 與指令解析仍握在官方手裡,這會直接左右架構設計。MiniMax 也預告,下一代的 H 系列將整合 M 系列語言模型的能力——影片模型與 LLM 的融合才剛開始。