摘要: ElevenLabs 的文件新增了一個 POST /v1/music/video-to-music 端點,讓開發者直接上傳影片檔,生成與畫面對應的背景音樂。對做短影音產品的人來說,這把「先寫 prompt 描述畫面、再生成音樂」的兩步流程壓成了一步,音樂的節奏與轉場可以跟著影片本身走。
它解決的是什麼問題
以往替影片配 AI 音樂,你要自己判斷影片的節奏、情緒和長度,再用文字描述給音樂模型。影片一剪,描述就得重寫。這個端點把影片當成輸入:一或多個檔案按順序合併後交給模型,音樂直接對齊影片內容。文件也標明可選的 description(上限 4100 字元)與 tags(最多十個,例如 [‘upbeat’, ‘cinematic’])仍可用來引導風格。
規格邊界先看清楚
以下是官方 API 參考文件列出的硬性限制,接 API 前值得先筆記:
- 最多 10 段影片,合併後總大小上限 200MB,總長度上限 600 秒。
- 多段影片合併會明顯拉長請求時間,文件建議先在客戶端合併好再上傳。
output_format支援 mp3、PCM、opus、μ-law 等格式,其中 192kbps 的 mp3 需要 Creator 級以上訂閱,44.1kHz PCM 需要 Pro 級以上。- 訂閱不足會回 403,影片參數有誤回 422,錯誤處理可以照這兩條先寫。
六百秒等於十分鐘,對短影音和大部分宣傳片夠用,但長片內容就得自己切段、分批生成再對齊。
三個值得注意的選項
第一是 use_audio_as_reference:開啟後,模型會分析影片原有音軌的類型、BPM、樂器編制、情緒與起伏,把這些特徵當成生成參考。實務上這代表你可以拿一支參考片,讓新生成的音樂在結構上貼近它,而不是只靠文字猜。
第二是 separate_tracks:開啟後回傳一個 ZIP,音樂與 SFX 分成兩條音軌,而不是混成一條。對要在後期再調音量的團隊,這比拿到一條混合檔有用得多;搭配 add_sfx 開關,可以決定影片中的音效線索要不要進來。
第三是 sign_with_c2pa:可為生成的 mp3 加上 C2PA 內容憑證。對需要標示 AI 生成內容的產品,這是把合規寫進管線的一個現成開關。之前我們在 Patreon 執行長談 fair use 爭議時提過,生成內容的授權與標示會越來越影響產品設計,這類簽署選項會慢慢變成預設需求。
放進你的管線之前
伺服器端點除了預設的 api.elevenlabs.io,還有 US、EU、India、Singapore 四個駐留區域版本,對有資料駐留需求的團隊是加分項。至於定價細節,這份文件只標明各格式所需的訂閱層級,實際用量計費方式並未在此頁說明。
如果你已經在用 ElevenLabs 的音樂模型,這個端點和他們先前 Music v2 支援單曲內切換曲風的能力,其實指向同一件事:音樂生成正在從「給一段文字、拿一首歌」走向「跟著素材走」。下一步合理的做法,是拿你真實的素材各試一次純描述、use_audio_as_reference 開與關這三種組合,先確認生成結果的節奏對齊程度,再決定要不要寫進正式管線。
參考來源
在 X 上查看原貼文
