AGENTIC COMMONSAI 產業簡報

繁中EN

主題開源模型與開放權重出版

返回文章列表

FLUX 3 登場:影片、圖像、聲音一個骨幹全包

本頁內容6 個段落
  1. 骨幹只有一個,模態卻有三種:Self-Flow 押的注
  2. 影片端的能力與目前的基準表現
  3. FLUX-mimic:懂物理的模型,去開機器人
  4. 怎麼拿到:Early Access、API 與開放權重
  5. 這件事對創作者與工程團隊的意義
  6. 參考來源

摘要: Black Forest Labs 於 7 月 23 日推出第一個多模態基礎模型 FLUX 3,採用自家 Self-Flow 方法並先進入 Early Access。它可生成最長 20 秒、原生帶音訊的多鏡頭影片,支援文字生影片、圖片生影片與帶角色延續的影片生影片;文中標明基準成績仍是初步結果。FLUX-mimic 已在 Audi 產線測試零件入盒與軟性材料操作,整套系統反應時間為 101 毫秒。

Black Forest Labs 在 7 月 23 日推出 FLUX 3。這是該公司第一個多模態基礎模型,也是第一個整套架構都從頭建立在其自家「Self-Flow」方法之上的模型,目前已經進入 Early Access。它想主張的事情是:影片、圖像、聲音其實不是三個各自獨立的問題,而是「同一個底層世界的投影」;既然如此,就不該拆成三份任務分頭訓練,應該讓單一架構同時學會生成與理解,把每一種模態都當成認識同一個世界的證據。

同一天刊出的另一篇文章,長期來看份量可能更重。以 FLUX 3 為骨幹打造的視覺動作模型 FLUX-mimic,已經在 Audi 的產線上實際上班。一家做生成式媒體的公司把腳伸進機器人控制領域,這個訊號比任何基準分數都更值得盯下去。

骨幹只有一個,模態卻有三種:Self-Flow 押的注

FLUX 3 的訓練資料是數千萬小時的一般影片,再加上操作類影片;其中光是影片預測就吃掉超過 95% 的訓練算力。Self-Flow 要做的,是在同一套架構裡把多模態的生成與理解對齊起來。有個小細節可以看出這筆賭注的代價:訓練一旦加入動作預測,影片品質會先掉最多 10%,但過了 3,500 個訓練步就完全補回來——這說明同一個骨幹確實能同時扛下內容生成與機器人控制兩種任務。

影片端的能力與目前的基準表現

這次的主角是影片:最長 20 秒、原生帶音訊的片段,功能涵蓋文字生影片、圖片生影片(可做動畫化,也能以參考圖驅動)、帶角色延續的影片生影片、關鍵幀轉場、多語言對白、Agentic 多鏡頭串接,以及精細到足以支撐動態設計的文字排版。圖像方面則是跨風格、跨解析度的合成與編輯,複雜提示的處理和多語言文字渲染都變好了。

基準數字得先聲明是初步結果:以 10 秒 720p、含音訊的文字生影片做人類偏好比較,FLUX 3 對 Runway Gen-4.5 的勝率是 77%、對 Luma Ray 3.2 是 93%、對 Grok Imagine Video 最高 69%、對 Kling v3 Pro 是 60%,對上 Seedance 2.0 與 Gemini Omni Flash 則都是 52%。

FLUX-mimic:懂物理的模型,去開機器人

FLUX-mimic 出自 Black Forest Labs 與機器人公司 mimic robotics 的合作:做法是在 FLUX 3 骨幹上掛一個輕量動作解碼器,直接從模型生成影片時所用的那份世界表徵裡把機器人動作讀出來。背後的推理是:一個能生成逼真影片的模型,必然早就摸透了接觸、運動、重量與因果;而這些理解可以直接轉去當控制訊號。

實測數字如下:骨幹在單張 RTX 5090 上的執行時間低於 80 毫秒,整套系統的反應時間是 101 毫秒;即使把骨幹凍結,表現仍勝過既有的視覺語言動作模型,需要的示範資料少得多,而且沒被教過也能自己從失敗的抓取中恢復。Audi 已經在產線上測試零件入盒、電子控制單元組裝,以及密封條、線纜這類軟性材料的操作,並表示這種軟性物件的操縱是傳統機器人做不到的事。

怎麼拿到:Early Access、API 與開放權重

FLUX 3 Video 已經開放 Early Access,圖像版預計幾週後跟上。發布規劃裡包含影片與圖像的 API 及私有權重、從 mimic robotics 起步的動作能力夥伴存取,以及一個開放權重的「FLUX 3 Dev」骨幹。對那些習慣把權重跑在自己機器上的開發者而言,最後這一項才是最要緊的承諾。

這件事對創作者與工程團隊的意義

對創作者來說,真正改變日常的是原生音訊的影片,加上堪用的文字排版與多鏡頭控制,後製配音與分鏡的前置工作量會明顯下降。對工程團隊來說,Self-Flow 與 FLUX-mimic 指的是一條路:不必再為影片生成和機器人控制各養一套模型,一個懂物理的視覺骨幹有機會一次兼顧。開放權重版本何時釋出、附帶什麼授權條款,將牽動整個生態系的成長速度。

參考來源

AGENTIC COMMONS由 PHLEGON LABS 經營
分享X電郵
支持我們

相關閱讀

  1. MiniMax H3 開源:一次生成 2K 影片與立體聲的全模態模型

    MiniMax 於 7 月 31 日發表 Hailuo 後繼者 H3,數日後釋出權重:33B 全模態 Transformer 同時生成最長 15 秒、768p 起步 2K 的影片與原生立體聲,ComfyUI Day-0 支援,量化後 RTX 3060 也能本地運行。

    Open Models

  2. Seedance 2.5 登場:30 秒一鏡到底,一次參考 30 張圖與 10 段音訊

    ByteDance Seed 團隊 7 月 31 日發表影片生成模型 Seedance 2.5:單次生成 30 秒、可多輪延伸成多分鐘成片,一次可引用 30 張圖、10 段影片與 10 段音訊,已上架即夢與豆包。

    Video Generation

  3. Nano Banana 2 Lite 登場:4 秒生圖、單張 3.4 美分的高速影像路線

    2026 年 6 月 30 日,Google 發表 Nano Banana 2 Lite:約 4 秒完成文字生圖、每張 0.034 美元,同場推出 Gemini Omni Flash 影片模型,用「快出圖、再動圖」的串接工作流把低成本高速生成推向主流。

    Gemini