AGENTIC COMMONSAI 產業簡報

繁中EN

主題AI 編程與開發工具出版 2026-10-16

返回文章列表AI API

ElevenLabs 新端點:上傳影片直接生成配樂,還能分軌輸出

摘要: ElevenLabs 的文件新增了一個 POST /v1/music/video-to-music 端點,讓開發者直接上傳影片檔,生成與畫面對應的背景音樂。對做短影音產品的人來說,這把「先寫 prompt 描述畫面、再生成音樂」的兩步流程壓成了一步,音樂的節奏與轉場可以跟著影片本身走。

它解決的是什麼問題

以往替影片配 AI 音樂,你要自己判斷影片的節奏、情緒和長度,再用文字描述給音樂模型。影片一剪,描述就得重寫。這個端點把影片當成輸入:一或多個檔案按順序合併後交給模型,音樂直接對齊影片內容。文件也標明可選的 description(上限 4100 字元)與 tags(最多十個,例如 [‘upbeat’, ‘cinematic’])仍可用來引導風格。

規格邊界先看清楚

以下是官方 API 參考文件列出的硬性限制,接 API 前值得先筆記:

  • 最多 10 段影片,合併後總大小上限 200MB,總長度上限 600 秒。
  • 多段影片合併會明顯拉長請求時間,文件建議先在客戶端合併好再上傳。
  • output_format 支援 mp3、PCM、opus、μ-law 等格式,其中 192kbps 的 mp3 需要 Creator 級以上訂閱,44.1kHz PCM 需要 Pro 級以上。
  • 訂閱不足會回 403,影片參數有誤回 422,錯誤處理可以照這兩條先寫。

六百秒等於十分鐘,對短影音和大部分宣傳片夠用,但長片內容就得自己切段、分批生成再對齊。

三個值得注意的選項

第一是 use_audio_as_reference:開啟後,模型會分析影片原有音軌的類型、BPM、樂器編制、情緒與起伏,把這些特徵當成生成參考。實務上這代表你可以拿一支參考片,讓新生成的音樂在結構上貼近它,而不是只靠文字猜。

第二是 separate_tracks:開啟後回傳一個 ZIP,音樂與 SFX 分成兩條音軌,而不是混成一條。對要在後期再調音量的團隊,這比拿到一條混合檔有用得多;搭配 add_sfx 開關,可以決定影片中的音效線索要不要進來。

第三是 sign_with_c2pa:可為生成的 mp3 加上 C2PA 內容憑證。對需要標示 AI 生成內容的產品,這是把合規寫進管線的一個現成開關。之前我們在 Patreon 執行長談 fair use 爭議時提過,生成內容的授權與標示會越來越影響產品設計,這類簽署選項會慢慢變成預設需求。

放進你的管線之前

伺服器端點除了預設的 api.elevenlabs.io,還有 US、EU、India、Singapore 四個駐留區域版本,對有資料駐留需求的團隊是加分項。至於定價細節,這份文件只標明各格式所需的訂閱層級,實際用量計費方式並未在此頁說明。

如果你已經在用 ElevenLabs 的音樂模型,這個端點和他們先前 Music v2 支援單曲內切換曲風的能力,其實指向同一件事:音樂生成正在從「給一段文字、拿一首歌」走向「跟著素材走」。下一步合理的做法,是拿你真實的素材各試一次純描述、use_audio_as_reference 開與關這三種組合,先確認生成結果的節奏對齊程度,再決定要不要寫進正式管線。

參考來源

原始貼文
AGENTIC COMMONS由 PHLEGON LABS 經營
分享X電郵
支持我們

相關閱讀

  1. 挑長片頭像工具,先看臉會不會慢慢變形

    HeyGen 用同一支 90 秒腳本實測 11 款 talking avatar 工具,把身份一致性、每分鐘成本和揭露規範排成可用的選型清單。

    AI Tools

  2. 把品牌規則搬出 prompt:Brand Kit 用一個物件解決團隊生成不一致

    ElevenLabs Brand Kit 把顏色、字體、logo 和使用規則存成工作區物件,在任何 prompt 用 @ 標記套用。

    Content Creation

  3. 把 30 秒長鏡頭寫進 API:Seedance 2.5 的規格取捨與計費邏輯

    Seedance 2.5 支援 30 秒單次生成與影片參考輸入,但解析度上限只有 720p,計費依影片 token 而非秒數。

    Video Generation