摘要： Winfunc 的 N-Day-Bench 檢驗前沿模型能否找出在模型知識截止後才公開的真實程式碼漏洞，題庫逐月更新以降低背題風險。首輪由 GPT-5.4 以 83.93 分領先，GLM-5.1 得 80.13，Claude Opus 4.6 得 79.95。文章仍提醒評審模型與參賽者重疊，且從已知 sink 回追不等於開放式漏洞挖掘。
2026 年 4 月 13 日晚上，資安公司 Winfunc 底下的研究團隊替新基準 N-Day-Bench 跑完又一輪評測。這套基準只檢驗一件事：把真實程式碼庫交到前沿語言模型手上，它們有沒有能力挖出那些在各家模型知識截止之後才對外公開的既有漏洞（N-Day）。首輪排名出爐：OpenAI 的 GPT-5.4 以 83.93 分領先，Z.ai 的 GLM-5.1 得 80.13，Anthropic 的 Claude Opus 4.6 得 79.95，三強全擠在四分以內；Google 的 Gemini 3.1 Pro 則輸給榜首 15 分以上。
比起誰站上首位，這份榜單更值得琢磨的是它的設計。安全類評測挨批最兇的一點向來是污染——模型早把訓練資料裡出現過的漏洞背得滾瓜爛熟，進了考場只是把答案「重播」一遍。N-Day-Bench 給出的對策相當直接：題目逐月更換，而且只收錄發布時間晚於受測模型知識截止日的漏洞通報，硬是讓背誦失去用武之地。所有執行軌跡對外開放，任何一個分數都能一路追溯回當時下過的指令與動過的程式碼。
為何題目必須落在知識截止日之後
題庫一旦固定不動，評測遲早退化成比誰記得多的背誦考試；改成毫無上限的滾動題庫，各個版本之間又失去了比較基礎。N-Day-Bench 走的是中間路線：以知識截止時間戳當錨點逐月出一版，每一版的題池只收上一版截止之後、本版截止之前公開的通報，參賽模型名單同樣每月換成各實驗室最新的版本與 checkpoint。官方講得很明白：所有模型共用同一套 harness、拿到相同上下文，「不給 reward hacking 留餘地」。
題目把關：1,000 則通告只過 47 件
題目出處是 GitHub Security Advisories，經由 GraphQL API 從發布時間最新的通報往回掃描。入選門檻相當苛刻：通報必須明確點名儲存庫（不允許靠套件名稱反推）、儲存庫星標得超過一萬、且通報指向的修補 commit 必須只有一個、不含歧義。挑選以 500 則為一個視窗逐步推進，直到 50 個名額全數補滿；本月這一輪總共翻閱 1,000 則通告，最後 47 件入選、953 件出局。評測環境 checkout 的是修補 commit 唯一的父節點，也就是還沒修補的帶洞狀態；修補 diff 只送到出題者手上，受測模型無從取得。凡是帶有歧義的案例（橫跨多個儲存庫、merge commit 之類）一律捨棄而不勉強收編，挑題時並以 round-robin 在各儲存庫之間輪流取件，避免某個熱門專案獨占整份題庫。官方的立場攤在明面上：寧取小而乾淨的資料集，不要靠猜測拼湊出的大資料集。
Curator、Finder、Judge 的三段式分工
管線裡三個角色各司其職，權限並不對等。Curator 負責命題，鎖定 GPT-5.4（medium 推理等級），讀完通報上下文與修補節錄後產出附答案 key 的結構化題目，列明預期漏洞類型、牽涉組件、sink 路徑與必要證據。Finder 就是受測模型本身，手上有題目和一個唯讀 bash shell，工具呼叫上限 24 步，而且一律得從已知 sink 起點往回追資料流，而非自由發揮的開放式找洞。Judge 負責評分，同樣綁定 GPT-5.4，眼前只看得到一個依摘要產生的盲化標籤。沙箱規範如下：唯讀 overlay 檔案系統掛載於 /workspace、git 被 shim 成唯讀替身、單道指令逾時 12 秒，另對呼叫深度與 awk、sed 迴圈次數設上限。計分依循固定的五維 rubric：目標對齊 30%、source-to-sink 推理 30%、影響與可利用性 20%、證據品質 10%、過度聲稱控制 10%。
第一輪分數：領先群鎖在四分區間
排序結果：GPT-5.4 以 83.93 稱王（44 份提交、平均 1.07 個發現）；GLM-5.1 以 80.13 居次，平均每份提交產出 1.23 個發現，比率全場最高；Claude Opus 4.6 得 79.95（43 份、1.16）；Moonshot 的 Kimi K2.5 為 77.18（37 份）；Gemini 3.1 Pro 停在 68.50，平均發現數 0.91 同樣墊底。整輪評測於 4 月 13 日傍晚 5 點 03 分啟動，當日 8 點 53 分收工，歷時約 3 小時 50 分，全程零失敗。榜首集團貼得這麼近，代表「給定 sink、往回追污染源」這類受限任務已被前沿模型大體解決，彼此差距多半落在報告品質，而非找不找得到洞；至於 Gemini 落後 15 分以上的鴻溝，值得 Google 團隊深入追查。
解讀榜單前先記住三個保留
有三點保留意見。其一，Curator 與 Judge 都由 GPT-5.4 擔綱，而 GPT-5.4 自己也下場參賽還拿下第一；盲化標籤確實能壓低偏誤，但官網也坦承文風指紋與長度相關偏誤防不住。其二，Judge 一次輸出就交出整個分數物件，伺服器端不再重算加權，等於拿機械一致性去換彈性。其三，從已知 sink 往回追蹤的難度，遠低於真實世界裡無線索可循的開放式挖掘，這些分數不該直接外推到賞金獵人情境。話雖如此，「逐月更新題目、軌跡全程可查、環境一律唯讀」三件事湊齊，已足以讓它躋身當前少數可信的 LLM 安全能力追蹤指標；何況 Winfunc 本身就在販售自動審計程式碼的 AI agent，這份榜單同時也是自家產品實力的公開櫥窗。