摘要： OpenAI 發布 A scorecard for the AI age，建議企業把 AI 投資評估從採用率轉向實際完成的有用工作，並提出衡量成果、成功任務總成本、可靠性和規模化經濟效益的四個維度。文中主張每 token 價格最低不代表每個成功任務最省，因為重試、等待、人工審查和返工都必須計入。這套框架來自供應商視角，團隊仍應用自己的工作流程、品質門檻和成本紀錄驗證。
OpenAI 近日發布〈A scorecard for the AI age〉一文，針對企業財務長與產品負責人，提出一套評估 AI 投資報酬的做法。文章的主張是：過去軟體習慣用「採用率」判斷成敗——買了多少席位、有多少活躍使用者、授權是否續約——但進入 AI 時代後，更精準的指標應該是「實際完成的工作量」。以下依序說明四個衡量維度，並補充產品團隊能怎麼落地。
必須留意，這套框架出自 OpenAI 這家供應商的視角，屬於管理層面的思考工具，而非中立第三方的 ROI 標準。文中提到的模型效率與 Benchmark 數字，仍要拿團隊自身的任務型態、品質門檻與成本紀錄來交叉檢查。
為什麼只看「每 token 成本」還不夠？
OpenAI 觀察到，不少企業挑選模型時仍緊盯著「每 token 成本」，但這種做法可能把決策帶偏。單價便宜的模型，往往得靠更多次嘗試、更長等待或更多人工把關，才能得到可以接受的成果；能力較強的模型雖然 token 貴一些，卻常常第一次就把任務做完。該算的其實是「得到一個成功結果所付出的總成本」，再把它跟這個結果帶來的價值放在一起比。
OpenAI 把這個最終標準命名為「每美元有用智慧」（Useful Intelligence per Dollar），它要回答四個問題：
- AI 是否真的完成了有意義的工作？
- 每個成功任務花掉多少成本？
- 產出的結果可靠嗎？
- 用量放大之後，每一塊錢是否換到更多工作？
1. 量測真正有用的工作成果
OpenAI 的建議是挑一個具體的工作流程切入。先把「完成」的判定標準寫清楚，再回到工作實際發生的那個系統裡追蹤結果。舉例來說：
- 客服團隊：所謂「完成」，可以是客戶的問題得到解決。
- 工程團隊：所謂「完成」，可以是一次通過測試的程式碼變更。
- 法務團隊：所謂「完成」，可以是合約在期限內被正確審閱完畢。
以財務團隊籌備預測審查為例，在最終決策拍板之前，藏著大量前置作業：翻找最新預測、把資料搬進試算表、找出變動之處、核對各分頁、重做投影片、確認數字彼此吻合。這類流程可以交給 OpenAI 的 ChatGPT Work 接手，團隊就能把心力留給「什麼變了？為什麼？接下來該怎麼做？」這些需要判斷力的問題。
2. 算出每個成功任務的真實成本
OpenAI 給出的算法並不複雜：
- 把完成工作的所有成本加總（員工時間、人工審查、重試與返工都要算進去）。
- 數出達到品質標準的任務有幾件。
- 用總成本除以成功任務數。
正因如此，每 token 價格最低的選項，未必等於每任務成本最低。前沿模型即便面對例行請求也可能最划算，因為它一次就答對，連帶省下重試、延遲、審查與整體計算量。
OpenAI 拿自家剛發表的 GPT‑5.6 系列當例子，說明分層模型如何協助客戶調整這道等式。GPT‑5.6 分成三級：Sol（旗艦）、Terra（效能與成本兼顧）、Luna（速度最快、價格最親民）。這三級只是出發點，實際選擇仍要回到任務的整體經濟效益。比方說，高速、高吞吐量的工作適合 Luna；需要更深入處理的任務適合 Terra；而當任務要求更強的推理能力、且希望用更少嘗試次數就拿到最佳結果時，Sol 會勝出。
OpenAI 宣稱，在 Artificial Analysis Coding Agent Index 上，GPT‑5.6 Sol 開啟最大推理模式後寫下新紀錄，輸出 token 也比另一個領先模型少了 54%。在 DeepSWE v1.1 這項長期工程任務基準中，Sol 以 72.7% 創下新高，超過 Claude Fable 5 的 69.9%，估計 API 成本則低 36.2%。
3. 評估可靠性與依賴程度
OpenAI 觀察到，AI 的採用通常會走過幾個階段：一開始只是幫忙打草稿，接著能找出脈絡、跨工具推理，最後開始實際採取行動、處理例外狀況、把整條工作流程走完，人則在關鍵節點上提供判斷與控制。每往前一個階段，創造的價值更多，對系統的要求也更高。
可靠性本身就有直接的經濟價值。當結果準確、來源清楚、表現一致，而且遇到狀況能妥善升級處理，人們花在審查、修正與重做上的時間就會變少。成功任務的成本下降，組織也更有把握把 AI 用在更關鍵的工作流程上。
OpenAI 建議團隊追蹤三類結果：
- 可直接使用：結果送達時就已經符合品質標準。
- 需要修正：結果得再試一次或經人工編輯。
- 需要升級：必須由人接手把工作完成。
相較於單看模型準確率，這些指標更能說明 AI 是否真的減輕了完成專案所需的工作量。
在 AI 從打草稿跨進行動階段之前，組織應該先講清楚：系統能取用哪些資料、能操作或修改哪些系統、以及什麼情況下必須有人審查或核准。安全、隱私、合規與控管，是往更深層使用前進的地基。
4. 追蹤規模放大後的經濟效益
最後一題是：用量成長之後，經濟效益有沒有跟著變好？OpenAI 建議企業長期盯住同一個工作流程，並記錄三件事：達到品質標準的任務數量、完成這些任務的總成本、以及每成功任務的成本。只要完成的工作增加得比總成本快，而且品質持平或更好，就表示每一塊錢正在創造更多價值。
運算資源（compute）是這道方程式的核心。訓練運算負責打造未來的能力，推論運算負責交付當下的有用工作。更好的模型、更有效率的推論、專用硬體、更高的利用率、更聰明的路由、更強的產品設計，都能拉高運算帶來的回報。每一代基礎設施都讓訓練出更強大的模型成為可能，而更好的演算法、硬體與軟體，則讓這些模型被更有效率地服務。
OpenAI 把這些環節收攏在一個共享的智慧平台裡：使用者透過 ChatGPT 與 ChatGPT Work 取用；開發者透過 Codex 與 API 打造應用；企業則把它部署到實際工作發生的系統中。只要其中一層變好，所有產品與客戶都會跟著受益。
產品建構者可以怎麼做
把 OpenAI 這套框架收起來看，產品團隊現在就能做這幾件事：
- 定義一個核心工作流程：挑一個對業務有明確價值的重複性任務，例如客服回覆、程式碼審查或報告產出。
- 建立「成功」的定義：跟利害關係人一起講定，什麼樣的輸出才算「完成且可用」。
- 計算總成本：不僅包括 API 費用，還要納入員工操作時間、審查時間、重試次數與返工成本。
- 追蹤可靠性分佈：記下「可直接使用」「需要修正」「需要升級」各占多少比例，並想辦法壓低後兩者。
- 定期檢視規模化趨勢：每月或每季比較同一流程的每成功任務成本，確認它是否隨使用量增加而下降。
結論
OpenAI 提出的「每美元有用智慧」框架，把 AI 投資的衡量方式從模糊的採用率，拉向具體的工作產出與成本效益。對產品建構者來說，這不只是一把評估尺，也是一份設計指南：無論是挑模型、設計流程，還是設定品質標準，核心都該放在「能不能用更低成本產出更多可靠工作」。AI 的真正價值，不在它消耗了多少 token，而在它替人類完成了多少有意義的事。