摘要： NIST 底下 CAISI 在 2026 年 5 月 1 日公布 DeepSeek V4 Pro 官方評測，採事先承諾基準、保留題目、固定 token 預算和 IRT 加權。估算 Elo 為 800（±28），整體落後美國前沿約八個月；數學接近一線，但抽象推理、資安、軟體工程與自然科學較弱。文章也提醒 CAISI 是政府機構，可能有自己的政治議程。
2026 年 5 月 1 日，隸屬美國商務部國家標準與技術研究院（NIST）的 AI 標準與創新中心（CAISI），公布了一份針對中國開放權重模型 DeepSeek V4 Pro 的官方評測。一句話總結：在 CAISI 至今評過的中國模型裡，這是能力最強的一個，但整體仍落後美國前沿約八個月，大約停在 2025 年中問世的 OpenAI GPT-5 那個位置。
對開發者而言，這份報告的價值不只在做出的排名，更在產生數字的方法：CAISI 事先承諾要測的基準組合，再用試題反應理論（IRT）加權，把資料污染與「挑軟柿子」的空間壓到最低。在自報分數已經幾乎無法互相比較的 2026 年，一套由政府層級背書、可受第三方檢驗的評測流程已經開始到位，而且下一步就是直接接進上市前審查。
這套評測的設計
CAISI 的設計有三個重點。其一，基準組合事先承諾：整套測驗在跑分之前就底定，不會看完結果再回頭挑題。其二，採用外界拿不到的保留題目——包括 CAISI 自行打造的 PortBench，以及 ARC-AGI-2 的半私有版本——來壓低訓練資料遭污染的機率。其三，統一 token 預算與 scaffolding（模型外部的工作腳手架），讓所有模型在可比條件下作答，最後以 IRT 啟發的統計方法推估整體能力。評測覆蓋五個領域：資安、軟體工程、自然科學、抽象推理與數學。
核心數字：Elo 800 與五個領域的表現
關鍵數字先講：以 IRT 估計，DeepSeek V4 Pro 的 Elo 為 800（±28）；對照組方面，GPT-5.5 有 1260，Opus 4.6 是 999，GPT-5.4 mini 則為 749。各領域的表現落差極大。數學已經貼近美國一線模型——OTIS-AIME-2025 拿到 97%，PUMaC 2024 與 SMT 2025 同為 96%；抽象推理卻在 ARC-AGI-2 半私有集只剩 46%，資安在 CTF-Archive-Diamond 上更低到 32%（該數字經 IRT 插補估得）。軟體工程與自然科學也一樣追不上前沿。麻煩的是，這三個最弱的領域，正好都是 agent 實際落地時最倚賴的能力。
官方說法和獨立評測的距離
本報告的另一條故事線，是廠商敘事與獨立量測之間的距離。DeepSeek 的自家技術報告把 V4 Pro 講到與 Opus 4.6、GPT-5.4 同一檔次——這兩個模型問世至今約兩個月。但 CAISI 一實測，把它放回了八個月前 GPT-5 的位置。The Decoder 的 Matthias Bastian 點出關鍵：這未必代表報告造假，而是自選基準、自選對照組的行銷文件，與預註冊評測之間本來就存在的系統性落差——採購判斷應以後者為準。
價格優勢，以及政治這一層
DeepSeek 真正勝出的地方在價格。跟唯一通過 CAISI 篩選條件的美國對照模型 GPT-5.4 mini 相比，DeepSeek V4 在七項基準中有五項花費更少，各項的價差從省下 53% 到貴上 41% 都有。agent 的工作量動輒數百萬 token，美國的高階模型又一路漲價，這樣的價差足以改寫選型清單——Cursor 已經在中國開放權重的 Kimi K2.5 上微調出一個成本更低的編碼模型。政治這一層同樣不能略過：The Decoder 提醒，Artificial Analysis 的 Intelligence Index 顯示美中差距其實「大致持平」，而 CAISI 這個政府機構本身，「很可能有自己的政治議程」。年初開年觀察談過的開源路線分歧，如今又多了一層官方評測的角度。
給開發者的三個提示
落回實務，有三件事值得記住。第一，挑模型看領域，別只看總分：數學吃重的 pipeline 大可認真評估開放權重模型，資安與長鏈推理任務則暫時保守為上。第二，把 CAISI 的方法搬回自己手上：基準事先承諾、題目保留不公開、token 預算固定，這套程序的抗污染能力，遠勝再把公開排行榜跑一遍。第三，留意報告出爐的時機——同一週，CAISI 才宣布擴大對美國前沿模型的上市前評測。政府評測正一步步從研究工具轉型為監管基礎設施，看得懂它的評分方式，就看得出未來的合規門檻。