摘要： OpenAI 追查後發現，GPT-5.6 Sol 在 ARC-AGI-3 的成績並非只由模型能力決定；打開保留推理與壓縮後，分數從13.3%升到38.3%，輸出 token 減少6倍。這表示評估結果同時反映測試框架與 API 設定，開發者應讓評估環境貼近實際部署。
OpenAI 的 GPT-5.6 Sol 在 ARC-AGI-3 上只拿到 7.8% 的分數時，團隊最初的疑問是：難道 2D 拼圖遊戲對模型來說特別難？但追查之後他們發現，答案不在模型身上，而在測試框架裡的兩個 API 設定。
ARC-AGI-3 這個基準測試要衡量的，是 AI 代理能不能在完全陌生的 2D 遊戲中自行學習與推理。OpenAI 在官方部落格文章中說明，一旦把「保留推理」（retained reasoning）與「壓縮」（compaction）這兩個設定打開，GPT-5.6 Sol 的成績就從 13.3% 升到 38.3%，輸出 token 同時少了 6 倍。分數會變動的原因不是模型變強，而是測試環境換了設定。
問題出在測試框架，而不是模型
ARC-AGI-3 的官方測試框架刻意維持簡潔，不提供工具或特殊功能，用意是讓模型的缺點更容易暴露，也讓不同模型之間的比較更公平。然而 OpenAI 查出，這個框架裡有兩個設計會壓抑模型的表現：
- 丟棄推理：模型每次動作之後，所有私人推理都會被清掉，因此它記不住自己先前怎麼想，只能看到動作記錄和簡短註記。
- 滾動截斷：對話一旦超過 175,000 字元，最舊的訊息就會被刪除，模型對早期動作的記憶也一點一點流失。
這兩個設計讓 GPT-5.6 Sol 無法在遊戲中累積學習，每一手都像從頭來過。OpenAI 指出，這正是模型在官方框架下成績偏低的原因。
保留推理與壓縮的實際效果
OpenAI 的模型在訓練時就會保留私人推理訊息，對話過長時則以摘要方式壓縮後延續，這也是他們在 ChatGPT 與 Codex 產品中的標準部署方式。當他們改用 Responses API 重現同一套設定後，觀察到兩個明顯的轉變：
- 思考時間減少：模型不必每一手都重新理解遊戲，因為它記得自己先前的想法。
- 策略更連貫：模型更容易掌握遊戲規則，並採取一致的策略。
以壓縮取代滾動截斷之後，模型能留住更早的觀察與行動，在長時間任務中表現得更好。OpenAI 強調，這兩項設定合併使用，讓 GPT-5.6 Sol 以少了 6 倍的輸出 token 換到 3 倍的分數。
對開發者與評估者的啟示
OpenAI 在結論中提醒，基準測試很少單獨衡量模型；它同時也在衡量 API 設定、測試框架設計與提示詞這些較不顯眼的選擇。他們給 API 開發者的建議是採用與自家產品一致的設定：使用 Responses API、保留推理、啟用壓縮。
至於要比較模型的人，OpenAI 建議參考使用了這些設定的評估，因為那更貼近 ChatGPT 與 Codex 的實際使用情境。低分其實源自測試框架通用設計的情況，對 OpenAI 而言並非第一次；這回再次說明，評估結果需要謹慎解讀。
這個案例對產品開發者相當有價值：當模型在某個基準上表現不佳時，先確認測試環境是否與實際部署一致。調整設定往往比調整模型更有效，也更能反映真實世界的效能。