摘要: Black Forest Labs 於 7 月 23 日推出第一個多模態基礎模型 FLUX 3,採用自家 Self-Flow 方法並先進入 Early Access。它可生成最長 20 秒、原生帶音訊的多鏡頭影片,支援文字生影片、圖片生影片與帶角色延續的影片生影片;文中標明基準成績仍是初步結果。FLUX-mimic 已在 Audi 產線測試零件入盒與軟性材料操作,整套系統反應時間為 101 毫秒。
Black Forest Labs 在 7 月 23 日推出 FLUX 3。這是該公司第一個多模態基礎模型,也是第一個整套架構都從頭建立在其自家「Self-Flow」方法之上的模型,目前已經進入 Early Access。它想主張的事情是:影片、圖像、聲音其實不是三個各自獨立的問題,而是「同一個底層世界的投影」;既然如此,就不該拆成三份任務分頭訓練,應該讓單一架構同時學會生成與理解,把每一種模態都當成認識同一個世界的證據。
同一天刊出的另一篇文章,長期來看份量可能更重。以 FLUX 3 為骨幹打造的視覺動作模型 FLUX-mimic,已經在 Audi 的產線上實際上班。一家做生成式媒體的公司把腳伸進機器人控制領域,這個訊號比任何基準分數都更值得盯下去。
骨幹只有一個,模態卻有三種:Self-Flow 押的注
FLUX 3 的訓練資料是數千萬小時的一般影片,再加上操作類影片;其中光是影片預測就吃掉超過 95% 的訓練算力。Self-Flow 要做的,是在同一套架構裡把多模態的生成與理解對齊起來。有個小細節可以看出這筆賭注的代價:訓練一旦加入動作預測,影片品質會先掉最多 10%,但過了 3,500 個訓練步就完全補回來——這說明同一個骨幹確實能同時扛下內容生成與機器人控制兩種任務。
影片端的能力與目前的基準表現
這次的主角是影片:最長 20 秒、原生帶音訊的片段,功能涵蓋文字生影片、圖片生影片(可做動畫化,也能以參考圖驅動)、帶角色延續的影片生影片、關鍵幀轉場、多語言對白、Agentic 多鏡頭串接,以及精細到足以支撐動態設計的文字排版。圖像方面則是跨風格、跨解析度的合成與編輯,複雜提示的處理和多語言文字渲染都變好了。
基準數字得先聲明是初步結果:以 10 秒 720p、含音訊的文字生影片做人類偏好比較,FLUX 3 對 Runway Gen-4.5 的勝率是 77%、對 Luma Ray 3.2 是 93%、對 Grok Imagine Video 最高 69%、對 Kling v3 Pro 是 60%,對上 Seedance 2.0 與 Gemini Omni Flash 則都是 52%。
FLUX-mimic:懂物理的模型,去開機器人
FLUX-mimic 出自 Black Forest Labs 與機器人公司 mimic robotics 的合作:做法是在 FLUX 3 骨幹上掛一個輕量動作解碼器,直接從模型生成影片時所用的那份世界表徵裡把機器人動作讀出來。背後的推理是:一個能生成逼真影片的模型,必然早就摸透了接觸、運動、重量與因果;而這些理解可以直接轉去當控制訊號。
實測數字如下:骨幹在單張 RTX 5090 上的執行時間低於 80 毫秒,整套系統的反應時間是 101 毫秒;即使把骨幹凍結,表現仍勝過既有的視覺語言動作模型,需要的示範資料少得多,而且沒被教過也能自己從失敗的抓取中恢復。Audi 已經在產線上測試零件入盒、電子控制單元組裝,以及密封條、線纜這類軟性材料的操作,並表示這種軟性物件的操縱是傳統機器人做不到的事。
怎麼拿到:Early Access、API 與開放權重
FLUX 3 Video 已經開放 Early Access,圖像版預計幾週後跟上。發布規劃裡包含影片與圖像的 API 及私有權重、從 mimic robotics 起步的動作能力夥伴存取,以及一個開放權重的「FLUX 3 Dev」骨幹。對那些習慣把權重跑在自己機器上的開發者而言,最後這一項才是最要緊的承諾。
這件事對創作者與工程團隊的意義
對創作者來說,真正改變日常的是原生音訊的影片,加上堪用的文字排版與多鏡頭控制,後製配音與分鏡的前置工作量會明顯下降。對工程團隊來說,Self-Flow 與 FLUX-mimic 指的是一條路:不必再為影片生成和機器人控制各養一套模型,一個懂物理的視覺骨幹有機會一次兼顧。開放權重版本何時釋出、附帶什麼授權條款,將牽動整個生態系的成長速度。
