**摘要:**OpenRouter 在 2026 年 11 月 12 日發布評測教學,主張選 model 不該靠公開排行榜,而該用你自己應用的輸入與輸出格式跑同一批任務,比較正確率、實際帳單成本與請求時間。最值得記住的數字是:在他們的 60 道合成任務上,模型排名與公開排行榜的 Spearman 相關性只有 0.109——換句話說,公開榜幾乎告訴不了你哪個 model 在你的任務上表現最好。
排行榜為什麼會誤導你
OpenRouter 的做法不複雜:每道任務由輸入、預期答案和輸出契約組成,例如「兩筆未付款項加總,只回傳兩位小數」或「依書面退款政策判斷 APPROVE 或 DENY」。答案由程式評分,精確比對字串、檢查 JSON 的鍵與值,只正規化被允許的差異。他們先寫好全部 40 道基準任務和 20 道困難任務,才跑最終評測。
結果很能說明問題:在測試的契約與設定下,GPT-6.1 Sol 三次重跑共 180 次全數通過;DeepSeek 回應成本最低,通過 157/180。而這份自己任務上的排名,與公開排行榜的 Spearman 相關性只有 0.109。如果公開榜與你的實際工作負載差這麼遠,照榜單選 model 等於把決策交給一個幾乎不相關的訊號。
先驗證評分器,再花錢跑 model
整份教學最實用的一課,是評分器本身也會出錯。OpenRouter 坦言開發階段的檢查器曾把合法的 Python 程式判為失敗,因為它沒處理 ord 和 type;所幸最終評測前已修正,明確指定 CPython 3.12.10/WASI 並加上資源限制。否則評分器的 bug 會默默算到 model 頭上。所以流程要求先用正確、錯誤、格式壞掉三種回應測試評分器,連退款政策剛好 200 美元、剛好 30 天這種邊界值都要測。
配套的 Python 套件把「驗證」和「花錢」分開:離線驗證零推論呼叫,付費執行必須明確加 --live 旗標並設 --max-usd 上限,超過預估就停止送出新請求。成本數字以核對過的帳單為準,帳單未驗證前,報表裡的成本維持未結算狀態。價格很親民:三任務教學範例的預估保留額,Luna 約 $0.0023544,Sol 約 $0.0470875。報表還會顯示回應覆蓋率、通過率與中位請求時間(不含評分與詮釋資料查詢,也不是首 token 時間)。
限制與平台條件
幾個限制要知道。教學執行器的離線檢查在 Windows x64 和 Linux 上通過,macOS 未測試;完整研究的 sandbox 與原生 Ori 設定只支援 Windows x64。被長度截斷的回應直接判失敗、不重試。預估保留額只是本地成本估算,不是帳戶扣款或保證上限。
我們也提醒一句:這些分數全部來自 OpenRouter 自己的合成任務,在他們指定的契約與設定下量得,並不代表任何真實生產工作負載的結論。
**我們的看法:**現在就行動,但行動要小——本週就把這套方法抄到自己的任務上,而不是把它當成 GPT-6.1 Sol 或 DeepSeek 的最終判決。理由有三:0.109 的相關性說明公開榜對你的任務幾乎沒有參考價值;三次付費執行的預估成本不到 $0.05,屬於一個下午就能做完、可完全回滾的便宜實驗;而且 OpenRouter 自己的合成集同樣是廠商自測,照搬結論等於換一個排行榜來信。前提是你的任務答案要能被程式檢查——做開放式寫作或創意輸出的團隊,精確比對根本不適用,可以略過。若日後有獨立複製顯示 OpenRouter 的 60 任務排名能預測真實工作負載的結果,或你的公開榜選擇在自家任務上已連續驗證過,這個結論就可以反轉。
原文還包含逐步指令、完整程式碼與自訂任務格式,值得直接照著跑一遍;如果你也在比較 OpenRouter 生態裡的排行工具,可以一併參考這篇。
