AGENTIC COMMONSAI 產業簡報

繁中EN

標籤Gemini出版

返回文章列表

Gemini Embedding 2 公開預覽:文字、影像、音訊、影片共用一個向量空間

摘要: Google DeepMind 於 2026 年 3 月 10 日讓 Gemini Embedding 2 進入公開預覽,是該公司第一個原生多模態嵌入模型,讓文字、圖片、影片、音訊與 PDF 共用 3072 維向量空間。它支援 Matryoshka 截斷至 1536 或 768 維,但更換模型仍需全面重建索引。

Google DeepMind 選在 2026 年 3 月 10 日讓 Gemini Embedding 2 進入 Public Preview,這是以 Gemini 架構為基礎打造的嵌入模型,也是該公司第一個原生多模態的嵌入模型。從此文字、圖片、影片、音訊和 PDF 共用同一個 3072 維向量空間,語言涵蓋超過 100 種。具名發布這份公告的,是產品經理 Min Choi 與傑出工程師 Tom Duerig。

檢索工程最零碎的環節,因此有了直接的解法。以往做多模態搜尋,得替文字與圖片各挑一個模型,音訊還要先轉成文字;現在單一模型就能取代這整串拼裝,系統複雜度和嵌入費用一起往下走。

單一模型、單一空間,容納五種模態

  • 文字最長 8,192 個 token;一次請求可附 6 張圖片,格式限 PNG 與 JPEG。
  • 影片以 120 秒為限(MP4、MOV);PDF 上限 6 頁。
  • 音訊直接以原生形式輸入,省去先轉出中繼文字稿的步驟——那正是語音檢索管線裡向來最棘手的一段。
  • 允許交錯輸入:圖片與文字可在同一個請求裡混用。
  • 官方說法是在文字、影像與影片各項任務上,成績高於目前的領先模型。

從這些數字可以看出定位:它服務的是「檢索單元」,可能是一頁文件、一小段影片或單張圖片,而不是長度無上限的完整多媒體檔。文字側 8,192 token 的天花板,與 Gemini 主模型百萬等級的上下文相比仍相去甚遠——負責嵌入的與負責生成的,各自做好各自的事。

Matryoshka 截斷遇上 3072 維輸出

輸出維度預設為 3072,背後技術是 Matryoshka Representation Learning——資訊以「巢狀」方式分布在各維度裡,向量因此能按需求截短,不必重新訓練。官方給出三個建議檔位:3072、1536 與 768 維。

在向量資料庫裡,儲存與搜尋的開銷幾乎跟著維度呈線性成長:規模上千萬的索引改用 1536 維就能省下一半,降到 768 維再減半一次。有了 Matryoshka,「拿品質換成本」不再是動工前就得定案的一次性決定,而是寫成一行參數的選項——先在完整維度下離線評測,實際上線時再依延遲預算決定截到多短。

生態系與 API 首日即整合完成

這個模型的 ID 是 gemini-embedding-2-preview,Gemini API 與 Vertex AI 兩邊同時可用;第一波整合的名單涵蓋 LangChain、LlamaIndex、Haystack、Weaviate、Qdrant、ChromaDB 與 Vertex AI Vector Search,Google 還另外準備了 Colab 筆記本。

真正該算清楚的,是切換成本的結構:更換嵌入模型,麻煩從來不在呼叫 API 那一步,而在索引得整個重建——嵌入空間一換,全部資料都要重算。第一天就有的框架整合,壓低的是「先試試看」的門檻:只要把 embedding 函式改指向新的 model ID,跑完一輪評測,再判斷值不值得重建索引。

RAG 與 Agent 管線受到的實際改變

影響有三層。其一,跨模態檢索成了原生能力:拿一句話找出影片片段,或憑一張截圖追溯原始文件,都不用再替各個模態分頭建索引、寫對齊邏輯。其二,Google 開發者部落格展示的 agentic multimodal RAG 是最貼身的應用場景——Agent 能同時消化螢幕截圖、文件與語音備忘,記憶全部收進同一套向量。其三,別忽略鎖定效應:一旦統一空間的品質站得住,把資料和索引留在 Google 生態系裡的引力就會增強;各家的嵌入空間無法互相混用,改換模型等於全面重建索引,評估時務必把這筆帳列進去。

同一個日子裡,Google 也讓 Gemini 更深入 Workspace——個人檔案起草、試算表自動填與 Drive 問答。基礎元件跟終端應用同一週接連出貨,連 Embedding 這類底層零件都被排進例行發布行程,可見多模態檢索已經是 Gemini 平台的標準配備。

參考資料

AGENTIC COMMONS由 PHLEGON LABS 經營
分享X電郵
支持我們

相關閱讀

  1. Google Project Genie 上線:世界模型即時生成可玩世界,遊戲股應聲重挫

    Google 於 1 月 29 日向 AI Ultra 訂閱者開放 Project Genie,首個基於 Genie 3 世界模型的公開產品,可從文字與圖片即時生成可互動 3D 世界。次日 Unity 一度暴跌近 24%,遊戲股全面下挫。

    Google DeepMind

  2. Gemini 4 Carbon:Google 新旗艦押注安全編碼

    Google 於 10 月 28 日發表 Gemini 4 Carbon,主打資安攻防與長時程代理任務,定價與 Argon 持平。

    Gemini

  3. Gemini 4 Argon 實際賣點不在跑分,在把幾百萬行重構壓進幾週

    Google 推出 Gemini 4 Argon,定價每百萬輸入 token 2 美元,實際案例集中在大型程式碼重構與資安修補。

    Gemini