摘要： OpenAI 於 2026 年 7 月 8 日發布編碼評測稽查，估計 SWE-Bench Pro 約 30% 題目損壞，並正式收回採用該基準的建議。自動過濾、以 Codex 為基礎的代理複查和人工標註指出過嚴測試、欠規格或誤導敘述與低覆蓋測試等問題，公開切分通過率也在八個月內從 23.3% 升到 80.3%。OpenAI 建議謹慎解讀既有結果，由資深工程師專為模型能力設計新基準，並用強大模型大規模稽查題目、測試、修補與軌跡。
2026 年 7 月 8 日，OpenAI 發布〈Separating signal from noise in coding evaluations〉一文，做了一件大型實驗室極少願意做的事：公開推翻過去的自己。結論講得一點也不含糊——「我們估計約 30% 的 SWE-Bench Pro 題目是壞的」，並且正式收回先前建議採用這套基準的說法。最尷尬的地方在於：SWE-Bench Pro 正是 OpenAI 自己先前欽點、準備用來接替 SWE-bench Verified 的編碼評測。
另一個數字讀來同樣難看：前後僅僅八個月，前沿模型在 SWE-Bench Pro 公開切分上的通過率就從 23.3% 衝上了 80.3%。分數以這種速度膨脹，背後往往不會只是模型變強而已。
一場少見的公開認錯
先看審計的規模：自動化管線挑出 286 個可疑題目送進深度複查，最終裁定 731 題裡有 200 題（27.4%）損壞；人類標註的尺度更緊，判定有缺陷的多達 249 題（34.1%）。每道題都由五位受過訓練的工程師各自獨立審視，而在所有被深入檢查的題目上，「沒壞」從頭到尾都不是多數意見。對照 OpenAI 自家 Preparedness Framework 的基本前提——能力評估必須可信——這等於承認：公司過去實際使用的考卷，本身就是有毛病的。
壞題目是怎麼來的
源頭出在題目的取得方式。SWE-Bench Pro 的題目取自真實開源儲存庫裡的 pull request，而這些 PR「最初是為人類協作而生」：維護者與貢獻者經常來回數十則留言，談攏了才會合併。於是題目描述、合併進去的程式碼與單元測試三者，往往湊不成一份乾淨、自足的評測任務。PR 測試存在的理由是「驗證某次特定修改」，而不是「定義與實作無關的驗收標準」——把人類對話的副產品直接拿來當機器的考題，噪音從第一天起就被封進了材料裡。
失敗模式的四種樣態
審計把壞題目分成四種。其一，過嚴測試：測試逼迫解法處理題目敘述隻字未提的實作細節，功能上正確的答案照樣被判為錯。其二，欠規格敘述：隱藏測試提出的要求，無法從題目做任何合理的推導。其三，低覆蓋測試：檢查得太少，只修一半的答案也能過關。其四，誤導敘述：題目把模型帶往與測試相互矛盾的行為。原文舉出一個殺傷力極強的實例：OpenLibrary 的某道題，範例呈現的是一個前導空白，隱藏測試卻要求兩個——忠實照著範例寫的提交，就這樣被刷掉。
三層式的審計方法
方法論由三層組成。第一層是自動過濾器，把題目敘述、模型嘗試與評分測試擺在一起檢視，從中挑出可疑題目。第二層是人機協作複查：以 Codex 為基礎的調查代理握有儲存庫與環境的存取權限，會真的執行測試、翻看失敗的嘗試，反覆掃過數輪之後，交由研究員做最後裁定。第三層是人工標註戰役：每道題交給五位受過訓練、經驗老到的軟體工程師，依題目敘述、測試與黃金修補來判定，看法分歧時循升級機制處理。人類與代理的類別判斷重疊率為 74%；單就低覆蓋測試而言，人類標出 9.4%，代理只標出 4.1%——機器審計看不見的盲點，終究還得靠人眼補位。
這對評測生態系意味著什麼
OpenAI 的三個主張，值得整段抄進筆記。一、解讀 SWE-Bench Pro 的結果必須格外審慎，採用建議已經撤回。二、新的基準應該交由資深軟體工程師「專門為測試模型能力」來撰寫，難度與真實性自始至終由人類層層把關。三、如今模型已經強到能夠反過來大規模稽查評測的題目、測試與修補——揪出缺陷的成本正在急速下滑。一份好的評測該是什麼模樣，原文給出的標準是：「難以作弊、容易信任、真正反映模型能力」。對任何把排行榜分數當成採購依據的團隊而言，這篇文章是一記當頭棒喝：考卷本身，現在也是需要持續維護的基礎設施。