AGENTIC COMMONSAI 產業簡報

繁中EN

主題AI 安全與防護出版

返回文章列表

當核安遇上分類器:Anthropic 與 NNSA 的合作,對開發者意味著什麼

摘要: Anthropic與美國NNSA及能源部國家實驗室共同開發核相關內容分類器,初步測試準確率為96%,並已部署在Claude流量中。文章強調核能技術具軍民兩用性,官方判準很難由企業自行重建,但公告未提供測試集與誤判分布細節。

核能技術天生帶著軍民兩用的性格,這使它名列 AI 安全評估中最棘手的一類題目。能驅動反應爐運轉的物理知識,轉個方向也足以支撐武器研發;模型能力一路走強之後,某個回答是否已經踩到危險線,再也不是開發者關起門來就能判斷的事。Anthropic 在 2025 年 8 月 21 日發布公告,說的正是他們怎麼解這道難題。

由評估風險,轉為打造監測工具

Anthropic 的公告 寫道,該公司早在 2025 年 4 月就和美國能源部(DOE)旗下的國家核安全管理局(NNSA)聯手,為自家模型做核擴散風險評估。這回的進展是把方向再往前推:從評估風險,走到打造監測風險的工具——一套與 NNSA 及 DOE 國家實驗室共同開發的分類器(classifier),任務是把核相關對話分成「有疑慮」與「無害」兩邊,初步測試的準確率為 96%。

公告也交代,這套分類器已在 Claude 流量上線,納入其模型濫用識別系統的一環;依早期部署資料來看,它在真實對話中的表現良好。Anthropic 另規劃把整套做法交到 Frontier Model Forum 手上,期待這套公私協作模式能成為其他 AI 開發者可以照著走的藍圖。

這張桌子為什麼少不了政府

公告裡有一句關鍵判斷值得留意:核武相關的資訊格外敏感,私人企業若單打獨鬥,這類評估很難做好。這句話不是場面話,而是資料與判準的現實——什麼算「有疑慮」,取決於領域專家與官方機構的判準,產品團隊自己開會是討論不出答案的。

這裡對開發者的訊號在於:當產品踏進高風險領域,外部機構可能同時扮演兩種角色,既是審批者,也是標註與判準的來源。同樣的結構也出現在 Anthropic 與蓋茲基金會的合作 裡——市場不願意碰的領域,就靠合作關係把能力與正當性補齊。

96% 這個數字要怎麼看

公告給出的 96%,限定在「初步測試」的準確率,另外補充早期部署資料顯示運作良好。至於測試集怎麼組成、誤判的代價如何分布、那 4% 的錯誤又偏向哪一側,公告一概沒有交代。

對產品開發者來說,這是個必須分清的差別。安全分類器的錯誤並不對稱:一段真正危險的對話被漏掉,和一個核子物理學家的正常提問被誤擋,兩者代價天差地遠。這層細節在公告裡找不到,而任何想沿用這套做法的人,要自己補上的第一份規格就在這裡。

三個可以帶回自己產品的問題

第一,你所界定的高風險類別,判準來自外部嗎?若答案是否定的,那你的分類器基本上是在猜。

第二,工具上線之後,你要用什麼方法衡量它在真實流量裡的表現?Anthropic 選擇直接部署到 Claude 流量,讓早期資料說話,而不是做完離線測試就收工。

第三,誤判的成本該怎麼分攤?與其死盯單一準確率數字,不如把「漏放」與「誤擋」分開,各自設定門檻,通常更實用。

真正的價值不在 96% 這個數字裡,而在它示範的分工方式:判準與領域知識由政府與國家實驗室供應,模型與部署管道由 AI 公司供應。核安場景對多數團隊而言大概永遠遇不上,但「高風險類別必須有外部判準」這一條原則,換到金融、醫療或資安領域照樣說得通。

公告並未提供分類器的誤判分布與測試集細節,這也成了後續值得持續盯的觀察點;在這些資訊補齊之前,比較穩妥的定位是把它看成一份可參考的流程範本,而不是一組能直接照抄的技術規格。

參考來源

AGENTIC COMMONS由 PHLEGON LABS 經營
分享X電郵
支持我們

相關閱讀

  1. Anthropic 讓 METR 進駐公司:獨立評估的新標準

    Anthropic 開放六名 METR 員工以接近內部員工的權限評估模型風險,並公布三級評估存取架構。

    Anthropic

  2. 選舉級的 red team:Anthropic 用資料與外部審查替 2026 中期選舉做準備

    Anthropic 公布中期選舉前的防護部署:25 萬則對話分析、外部機構壓力測試,以及拆解多步驟濫用的新分類器。

    Anthropic

  3. 十一月十二日前檢查你的 agent:Anthropic 新版使用政策對 builder 的六個實際影響

    Anthropic 於 2026 年 10 月 8 日公布新版 Usage Policy,11 月 12 日生效,涉及監控、武器、選舉與高風險場域的具體規則變化。

    Anthropic