AGENTIC COMMONSAI 產業簡報

繁中EN

主題企業 AI出版

返回文章列表

OpenRouter Private Endpoints:自建部署接進同一條 API

本頁內容6 個段落
  1. 解決的其實是「第二套整合」問題
  2. 註冊流程比想像中嚴格
  3. 用程式碼和 Terraform 管理整個生命週期
  4. 兩個容易誤解的地方
  5. 實務上的下一步
  6. 參考來源

摘要: OpenRouter 在 2026 年 10 月 14 日推出 Private Endpoints,讓團隊把自家的微調模型、公用模型的專屬部署或向供應商保留的容量,註冊成組織內部可見的端點,直接透過現有 API 呼叫。對開發者的實際意義是:自建部署不再需要第二套整合,仍能用原本的 model slug 和路由偏好,供應商故障或觸發限流時還能退回公用提供者。這項功能屬於 Enterprise 方案的付費附加元件。

解決的其實是「第二套整合」問題

過去只要涉及微調模型或保留容量,團隊幾乎都要在 OpenRouter 之外再維護一條呼叫路徑:自己的金鑰、自己的重試邏輯、自己的監控。Private Endpoints 把這條路徑收進同一個 API。以官方例子來說,如果組織在 Azure 上有 DeepSeek V4 Pro 的專屬部署,註冊為 private endpoint 之後,應用程式照樣呼叫 deepseek/deepseek-v4-pro,該部署預設排在組織的供應商清單最前面;流量溢出時,可按設定的 Model Fallbacks 與 Provider Selection 規則導向公用提供者。

隱私方面,私有端點只在你的組織內可見,不會出現在公開模型清單、排行榜、搜尋或圖表中。路由層的品質與成本比較,可以參考先前對 OpenRouter 路由器排行榜的讀法——private endpoint 不參與那些排名,但它用的是同一套路由機制。

註冊流程比想像中嚴格

有幾個前置條件值得在規劃時就確認:

  • 部署必須由支援 BYOK 的供應商代管,OpenRouter 用你自己的金鑰連過去,費用由供應商直接向你請款。
  • 部署服務的模型必須已在 OpenRouter 目錄中,因為端點會繼承該模型的 slug 與能力宣告。
  • 每個呼叫端點的 workspace 都要儲存 BYOK 金鑰,上限預設每組織 10 個端點。

正式啟用前,OpenRouter 會發送一次真實請求做驗證:確認金鑰可用、部署說 OpenAI 相容格式、串流正常、用量資料能回傳計費、上游 model ID 與註冊內容一致。通過之前,端點保持隱藏且無法呼叫。

用程式碼和 Terraform 管理整個生命週期

如果端點數量多,或基礎設施走 IaC,Private Endpoints API 涵蓋從註冊草稿、執行測試、啟用到暫停、刪除的完整流程,使用組織層級的 Management API key,一次 create 呼叫就能註冊、測試並啟用:

curl https://openrouter.ai/api/v1/private-endpoints \
  -H "Authorization: Bearer $OPENROUTER_MANAGEMENT_KEY" \
  -H "Content-Type: application/json" \
  -H "Idempotency-Key: gpt-4o-prod" \
  -d '{
    "model_permaslug": "openai/gpt-4o-2024-08-06",
    "provider_slug": "openai",
    "base_url": "https://api.openai.com/v1",
    "upstream_model_id": "gpt-4o-2024-08-06",
    "pricing": { "prompt": "0.0000025", "completion": "0.00001" },
    "activate": { "workspace_id": "<workspace-id>" }
  }'

測試失敗時草稿會保留並回傳失敗項目,Idempotency-Key 讓重試安全。官方也提供 Terraform 資源 openrouter_private_endpoint,terraform apply 就完成註冊、測試與啟用。

兩個容易誤解的地方

第一,標成 private endpoint 不等於 Zero Data Retention。你的供應商處理提示詞的方式跟以前一樣,OpenRouter 只是記錄你註冊時申報的資料政策——如果法遵要求嚴格,這一欄要跟供應商確認清楚再填。

第二,如果 OpenRouter 能從端點位址判斷區域,或你註冊時主動宣告,端點可以支援 In-Region Routing,讓 eu.openrouter.ai 的請求留在歐盟區內。不過支援的供應商以官方 In-Region Routing 文件為準。

實務上的下一步

這個功能改變的是決策:自建部署與公用模型之間不再是二選一,而是同一張路由表裡的優先順序問題。對已經在 Enterprise 方案上的團隊,合理的起手式是挑一個已經有專屬部署的模型試註冊,跑通 BYOK 驗證,再決定要不要把溢出流量交給公用提供者兜底。目前僅限 Enterprise 方案,需要向帳戶代表申請啟用。

參考來源

AGENTIC COMMONS由 PHLEGON LABS 經營
分享X電郵
支持我們

相關閱讀

  1. 從每天 800 美元到 30 美元:OpenRouter 銷售 agent 的時間帳是怎麼算出來的

    OpenRouter 用一支叫 Rasp 的銷售 agent 每月替五人團隊省回約 600 小時,營運成本從近 800 美元壓到 30 美元一天。

    AI Agents

  2. 路由器也有排行榜了:OpenRouter 把品質、速度、成本放在同一張表上

    OpenRouter 推出 Model Router Benchmarks,用 Router Index 為各家模型路由器的品質、速度、成本打出可比較的分數。

    OpenRouter

  3. 換一個模型就壞:agent 框架到底把 tool schema 翻譯放在哪一層

    OpenRouter 比較六個 agent 框架的 tool-calling schema 處理方式,重點不是誰功能多,而是翻譯層放在你、框架還是 API 層。

    Agent Framework