摘要: Anthropic與美國NNSA及能源部國家實驗室共同開發核相關內容分類器,初步測試準確率為96%,並已部署在Claude流量中。文章強調核能技術具軍民兩用性,官方判準很難由企業自行重建,但公告未提供測試集與誤判分布細節。
核能技術天生帶著軍民兩用的性格,這使它名列 AI 安全評估中最棘手的一類題目。能驅動反應爐運轉的物理知識,轉個方向也足以支撐武器研發;模型能力一路走強之後,某個回答是否已經踩到危險線,再也不是開發者關起門來就能判斷的事。Anthropic 在 2025 年 8 月 21 日發布公告,說的正是他們怎麼解這道難題。
由評估風險,轉為打造監測工具
Anthropic 的公告 寫道,該公司早在 2025 年 4 月就和美國能源部(DOE)旗下的國家核安全管理局(NNSA)聯手,為自家模型做核擴散風險評估。這回的進展是把方向再往前推:從評估風險,走到打造監測風險的工具——一套與 NNSA 及 DOE 國家實驗室共同開發的分類器(classifier),任務是把核相關對話分成「有疑慮」與「無害」兩邊,初步測試的準確率為 96%。
公告也交代,這套分類器已在 Claude 流量上線,納入其模型濫用識別系統的一環;依早期部署資料來看,它在真實對話中的表現良好。Anthropic 另規劃把整套做法交到 Frontier Model Forum 手上,期待這套公私協作模式能成為其他 AI 開發者可以照著走的藍圖。
這張桌子為什麼少不了政府
公告裡有一句關鍵判斷值得留意:核武相關的資訊格外敏感,私人企業若單打獨鬥,這類評估很難做好。這句話不是場面話,而是資料與判準的現實——什麼算「有疑慮」,取決於領域專家與官方機構的判準,產品團隊自己開會是討論不出答案的。
這裡對開發者的訊號在於:當產品踏進高風險領域,外部機構可能同時扮演兩種角色,既是審批者,也是標註與判準的來源。同樣的結構也出現在 Anthropic 與蓋茲基金會的合作 裡——市場不願意碰的領域,就靠合作關係把能力與正當性補齊。
96% 這個數字要怎麼看
公告給出的 96%,限定在「初步測試」的準確率,另外補充早期部署資料顯示運作良好。至於測試集怎麼組成、誤判的代價如何分布、那 4% 的錯誤又偏向哪一側,公告一概沒有交代。
對產品開發者來說,這是個必須分清的差別。安全分類器的錯誤並不對稱:一段真正危險的對話被漏掉,和一個核子物理學家的正常提問被誤擋,兩者代價天差地遠。這層細節在公告裡找不到,而任何想沿用這套做法的人,要自己補上的第一份規格就在這裡。
三個可以帶回自己產品的問題
第一,你所界定的高風險類別,判準來自外部嗎?若答案是否定的,那你的分類器基本上是在猜。
第二,工具上線之後,你要用什麼方法衡量它在真實流量裡的表現?Anthropic 選擇直接部署到 Claude 流量,讓早期資料說話,而不是做完離線測試就收工。
第三,誤判的成本該怎麼分攤?與其死盯單一準確率數字,不如把「漏放」與「誤擋」分開,各自設定門檻,通常更實用。
真正的價值不在 96% 這個數字裡,而在它示範的分工方式:判準與領域知識由政府與國家實驗室供應,模型與部署管道由 AI 公司供應。核安場景對多數團隊而言大概永遠遇不上,但「高風險類別必須有外部判準」這一條原則,換到金融、醫療或資安領域照樣說得通。
公告並未提供分類器的誤判分布與測試集細節,這也成了後續值得持續盯的觀察點;在這些資訊補齊之前,比較穩妥的定位是把它看成一份可參考的流程範本,而不是一組能直接照抄的技術規格。
