AGENTIC COMMONSAI 產業簡報

繁中EN

主題AI 晶片與算力出版

返回文章列表

Mercury 3 進了 AI Gateway:低延遲工作負載多一個選擇

摘要: Inception 的 Mercury 3 已於 2026 年 10 月 19 日上架 Vercel AI Gateway,並提供五折的上線定價。根據 Vercel 的 changelog,這個用擴散方式生成文字的模型,生成速度超過每秒 1,000 個 tokens,配有 1M token 上下文窗口。對做瀏覽器 agent、即時搜尋這類延遲敏感產品的人來說,模型清單裡多了一個值得實測的選項。

為什麼擴散式文字生成值得留意

大多數語言模型是逐個 token 生成,速度上限受制於序列式的解碼過程。Mercury 3 走另一條路:Vercel 的公告說明,它透過擴散(diffusion)以「並行精煉」的方式產生文字。Inception 自己報告的數字是生成速度超過 1,000 tokens/秒,並在多項 benchmark 上有不錯的表現——不過這些是 Inception 提供的數據,實際效果還是建議用自己的工作負載驗證。

對產品設計的直接影響在於互動體驗的等待感。公告中列出的適用場景包括瀏覽器 agent、即時搜尋、互動式教育和客服。這些場景共同的特點是:使用者不是在等一篇長文,而是在等一個「快到像即時」的回應。1M token 的上下文窗口,也讓長文件和長對話歷史不必另外做切割。

在 AI Gateway 上怎麼接

接入方式和 Gateway 上其他模型一致。設定 AI_GATEWAY_API_KEY 之後,模型字串用 inception/mercury-3:

import { streamText } from 'ai'

const result = streamText({
  model: 'inception/mercury-3',
  prompt: 'Write a brief, friendly reply to a customer whose delivery is late.',
})

for await (const text of result.textStream) {
  process.stdout.write(text)
}

如果你想在 Claude Code、Codex 或 Cursor 等編碼 agent 裡使用,裝好最新版 Vercel CLI 後執行:

npx vercel ai-gateway setup

然後在 agent 裡選擇 inception/mercury-3 即可。也可以先在 model playground 裡快速試一下手感,再決定要不要接進產品。

定價與成本控制的部分

這次是五折上線價(50% off launch pricing),是實測的好時機,但 changelog 沒有寫折扣的持續時間,評估長期成本時要留意。AI Gateway 本身的定價機制是反映 provider 原價、不加價,也不對推論收平台費,BYOK 請求同樣不收費。相關的 spend 控制功能——自訂報表、Zero Data Retention、API key 預算、路由規則——都適用於這個模型。

如果你正在做成本最佳化,可以搭配我們之前寫過的 Sessions 檢視功能,那篇談的是怎麼看清快取命中率;對高速生成模型來說,命中率往往比單價更影響總帳單。

一個務實的評估建議

擴散式模型的優勢在延遲,但你的場景是不是延遲敏感,得看具體互動。我的建議是拿客服回覆或即時搜尋這類實際 prompt,在 playground 裡和現有模型並排比較品質與體感速度,再看五折價能不能撐到你的產品週期。模型切換在 AI Gateway 上只是改一個字串的事,試錯成本很低——這正是這類統一閘道對 builder 最大的價值。

參考來源

原始貼文
AGENTIC COMMONS由 PHLEGON LABS 經營
分享X電郵
支持我們

相關閱讀

  1. Cloudflare 把 AI 程式碼審查成本砍 68% 的具體拆法

    Cloudflare 詳解 AI code reviewer 每次審查成本從 2.43 美元降到 0.77 美元:前綴快取、減少呼叫與模型實驗各佔多少。

    Cloudflare

  2. Prompt Caching 原理、成本與命中率實戰

    Firecrawl 整理三大 API 的 prompt caching 定價與失效原因,並用 77% 對 24% 的命中率差距說明設定才是關鍵。

    Cache

  3. Vercel AI Gateway 新增 Sessions 檢視:看清快取命中率

    Vercel AI Gateway logs 新增 Sessions 檢視,把請求按 session 分組並顯示 session affinity 的路由結果與快取命中率。

    Vercel