AGENTIC COMMONSAI 產業簡報

繁中EN

主題AI 代理與工作流出版

返回文章列表

別再只看每百萬 token 報價:Amazon Bedrock 上的 OpenAI 模型該怎麼挑

摘要: AWS 在 2026 年 9 月 11 日以同一套開源評測框架,比較 Amazon Bedrock 上的三個 OpenAI 模型與兩個 OpenAI API 成本最佳化基準,計算答對一題或完成一件交付物的實際成本。結果顯示 Luna 在 Bedrock 降價後的 AIME 與 GDPval 成本特別低,而代理任務的輪數與重試會明顯放大帳單。AWS 也提醒 Bedrock 模型關閉推理、API 基準採預設值,且樣本數有限,只宜當方向參考。

挑生成式 AI 模型時,大多數團隊的比較單位都是同一個:每百萬 token 要付多少錢。這個數字被印在每一張定價頁上,於是也順理成章成了試算表裡唯一的欄位。但正式環境花錢買的並不是 token,而是一件完成的事——客服單結案、研究簡報交出、財務摘要正確。從定價頁走到成果之間,隔著幾層價格標籤沒寫出來的乘數:模型答對的比例有多高、答對之前燒掉多少 token;若是代理型工作負載,還要算它跑了幾輪才收手,因為每跑一輪,那份越長越大的對話就要再送一次。

AWS Machine Learning Blog 在 2026 年 9 月 11 日發布的這篇評測,處理的就是這幾層乘數。他們以一套開源評測框架,拿 Amazon Bedrock 上的三個 OpenAI 模型(gpt-5.6-luna、gpt-5.6-terra、gpt-5.6-sol)與兩個 OpenAI API 上常見的成本最佳化基準(gpt-5.4-mini、gpt-5.4-nano)相互對照;後兩者是刻意選來代表「多數團隊現在的起點」,而不是同世代的對等比較對象。

算出「答對一題要付多少」

AWS 的算法是把模型花在答對與答錯嘗試上的錢全部加總,除以答對的題數,得出「一次正確答案的觀察成本」。AIME 數學競賽題上,sol 解題率 75%,mini 為 37%;GPQA Diamond 為 68% 對 43%,MMLU-Pro 則是 82% 對 59%。

成本欄才是重點。luna 在原價時期(約 mini 的 1.5 倍)每題正確答案就已經便宜 25%——差別來自推理關閉後,它消耗的計費 token 少於採預設值的 mini。價格在 2026 年 7 月 30 日調整:Bedrock 上的 GPT-5.6 Luna 降 80%、Terra 降 20%;調整之後 AWS 記下的每題正確 AIME 成本,luna 為 $0.0021、mini 為 $0.0139。

結果檔裡採用的價格假設,AWS 也特別點出來:luna 是每百萬輸入/輸出 token $0.22/$1.32,terra 是 $2.20/$13.20;真正上線之前,請改看最新的 Bedrock 推論層級與區域定價頁。

代理的帳單取決於輪數

單次呼叫的定價,看不到代理型工作負載真正關鍵的地方。AWS 的框架把歷史交由客戶端管理,設定為 store: false:系統提示、先前的工具結果、整段對話上下文,每一輪都要重送。每輪上下文大致沿線性增長,累計的計費輸入就可能接近平方成長。

以 DeepSearchQA 的 50 題分層樣本為例,mini 每題平均跑了 7.6 輪(大多是重複搜尋的迴圈),最終輸入 token 量達到 terra 的 2.3 倍(每題 114k 對 50k)。terra 較高的 token 單價,被更少的輪數與更好的品質抵銷回來:每個通過答案 $0.31,mini 是 $0.40;平均 F1 為 0.50 對 0.39。luna 每題所需輪數低於 mini,每個通過答案 $0.05。至於 nano,名目 token 價雖然較低,18% 的通過率仍讓它的觀察成本落在 $0.07。

結論很直白:輪數效率本身就是一個定價變數,而這一點在定價頁上完全看不到。只要你的代理會串接工具呼叫——研究、多跳查詢、迭代檢索——軌跡成本就應該與單次呼叫成本並列在同一張表上量。這跟我們先前談前綴感知路由如何影響 KV cache 與延遲是同一個思路:帳單與延遲多半取決於架構,單價不是決定因素。

專業交付物:rubric 就是及格線

不少團隊實際交付的是文件——合規簡報、財務計畫、照護流程——此處的「正確」由評分規準定義,而非字串比對。AWS 挑了 GDPval 的 48 項任務切片來跑,每項 rubric 都出自平均 14 年經驗的專業人士,加權分數須達 70% 才算通過。

三個 gpt-5.6 設定的觀察分數都排在 mini 與 nano 之上,差距最明顯的是法律、護理與財務建議類任務。48 項當中,luna 有 31 項高於 mini、9 項較低、8 項持平;通過項目 luna 為 27 項、mini 為 20 項。降價後 luna 在此樣本裡取得最低成本:通過一個交付物 $0.010,mini 為 $0.030、nano 為 $0.012;通過率 56%,對比 42% 與 35%。

AWS 也標出一項限制:輸出上限設為 8,192 token,使 luna 6 項、terra 9 項、sol 7 項、nano 1 項交付物遭截斷。上限放寬也許能改善品質,成本卻可能同時被推高,兩者要一起測。

這對產品團隊意味著什麼

AWS 的遷移建議相當樸素:高頻、低複雜、失敗代價低的任務,起點選 luna;互動式應用而準確度要緊時,先量 luna,再用自己的 SLO 重測延遲;會串接工具呼叫的代理,把 luna 與 terra 並著量;品質門檻硬的難題,才輪到 sol 上場。

有兩點值得自己確認。一是 Bedrock 上的模型是在關閉推理的狀態下執行,OpenAI API 基準則採預設值,因此這比較的是「實務部署設定」,而不是對模型本質能力的受控估計。二是樣本數落在 48 到 198 之間,差距小的時候只適合當方向性參考。

最務實的起步動作不是換模型,而是把評測框架放到自己的任務上跑一遍:先算出你的「一次正確結果」值多少錢,再決定要不要動。

參考資料

AGENTIC COMMONS由 PHLEGON LABS 經營
分享X電郵
支持我們

相關閱讀

  1. 把模型分層寫進架構:GPT-6 Sol 與 Luna 進 Bedrock 之後的取捨

    GPT-6 Sol 與 Luna 在 Amazon Bedrock 正式可用,價格低於 GPT-5.6 前代,重點變成怎麼在同一條流程裡分層選模型。

    Amazon Bedrock

  2. Grok 4.6 進 Bedrock:端點選擇比模型分數更早決定你的架構

    Grok 4.6 在 Bedrock 同時上線 mantle 與 runtime 兩個端點,功能支援不同,選錯會綁死你的整合方式。

    Amazon Bedrock

  3. Daytona 沙箱接上 OpenAI 電腦操作循環

    Daytona 官方指南示範用 OpenAI ComputerToolset 驅動沙箱桌面,並把每個動作的准駁權留在你的 driver 程式碼裡。

    AI Agents