摘要： Anthropic 於 2025 年 8 月 12 日說明 Safeguards 團隊如何以政策、訓練、測試評估、即時偵測與持續監控五層機制保護 Claude。文章也承認分類器要在運算成本與誤傷良性內容間取捨，且即時偵測無法捕捉所有問題，需靠監控與威脅情報補位。
2025 年 8 月 12 日，Anthropic 刊出一篇官方文章，詳細交代 Safeguards 團隊如何替 Claude 架起多層防護。這不是例行公關稿——內部作業細節難得這樣攤開，正在打造 AI 產品的團隊可以直接拿來對照自己的安全設計。
這個團隊網羅了政策、執法、產品、資料科學、威脅情報和工程背景的人才，核心想法是把保護機制從一開始就長進 Claude 的生命週期裡，而非等到出事才補救。整套做法分成五個層次：政策制定、模型訓練、測試評估、即時偵測，以及持續不斷的監控。
政策與訓練：安全從第一天就長在產品裡
Claude 的 Usage Policy 出自 Safeguards 團隊之手。這份文件劃出了使用 Claude 的界線——哪些用法可以、哪些不行——兒童安全、選舉誠信、網路安全都在它的關鍵範圍內，醫療、金融這類產業也另有更細的指引。
政策如何持續修正？靠兩套機制。一套叫 Unified Harm Framework，本身不斷演進，從身體、心理、經濟、社會與個人自主五個維度，協助團隊盤點 Claude 可能帶來哪些潛在傷害。另一套是 Policy Vulnerability Testing：Anthropic 請來恐怖主義、激進化、兒童安全、心理健康等領域的外部專家，針對政策做壓力測試，測出來的結果會直接回饋到政策、訓練與偵測系統的修正。2024 年美國大選就是實例——Anthropic 和 Institute for Strategic Dialogue 攜手找出 Claude 可能給出過時資訊的地方，接著加上橫幅，把用戶導向 TurboVote 這類權威來源。
進到訓練階段，Safeguards 會與微調團隊緊密協作，先討論清楚 Claude 該展現哪些行為，再把這些特質在訓練過程中一點一滴建立起來。一旦評估或偵測抓到疑似有害的輸出，他們就更新獎勵模型，或者調整系統提示詞。另外，Anthropic 找上 ThroughLine 這類危機支援的專業機構合作，讓 Claude 面對自傷或心理健康相關話題時，回應能夠拿捏得細膩，而不是一律擋下，或誤會使用者的意思。
模型上市前的三道評估
新模型對外釋出之前，Anthropic 會跑三種評估：安全評估、風險評估、偏見評估。安全評估看的是 Claude 有沒有守住 Usage Policy，測項涵蓋明確違規、模糊情境，也包含多輪對話；風險評估挑高風險領域——像是網路攻擊、CBRNE 武器——做能力提升測試，過程中與政府及民間夥伴協力；偏見評估要確認的則是，換了情境、換了使用者，Claude 的回覆是否依舊一致且準確。
評估結果會寫進 system cards，跟著每一個新模型家族一併發布。有個案例特別值得記住：Anthropic 在測試電腦使用工具時，發現這項工具可能被拿來大量製造垃圾訊息，於是趕在上市之前，先把新的偵測與執法機制做好——疑似濫用的帳號會被停用該工具，另外也加上針對 prompt injection 的新保護。
上線之後：分類器偵測，帳號層級執法
模型正式上線，偵測與執法交給自動化系統搭配人工審查。其中最核心的，是一批名為 classifiers 的 Claude 模型——透過提示或微調，讓它們即時抓出特定類型的政策違規。分類器可以一次掛上好幾個，各自盯著不同類型的傷害，而且過程中不打斷主要的對話流程。面對兒童性虐待素材（CSAM），Anthropic 則靠雜湊比對來偵測。
執法手段分成兩種：回應引導，以及帳號執法。前者是在當下改變 Claude 解讀與回應某些提示的方式——譬如偵測到有人可能想產生垃圾訊息或惡意軟體，系統就自動在系統提示詞裡塞進額外指示，少數情況甚至直接讓 Claude 完全不再回應。後者則是在偵測到重複違規之後對帳號出手，從警告一路到終止帳號。
Anthropic 自己也承認，要把這套執法系統蓋起來難度不小：分類器得消化數兆個輸入與輸出 token，卻還要把運算開銷壓住，同時避免誤傷良性內容。
監控與威脅情報：把視線拉高到帳號層級
視線不必停在單一提示或個別帳號。為了掌握特定傷害有多普遍、並識別更複雜的攻擊模式，Anthropic 也會持續監看有害的 Claude 流量。做法上，他們用 insights 工具分析流量，全程顧及隱私，把對話歸納成高層級主題；再用 hierarchical summarization 技術，把一筆筆互動濃縮成摘要，接著從這些摘要裡找出帳號層級的疑慮——自動化的影響力操作就是一例。
至於最嚴重的模型濫用案例，則交給威脅情報團隊研究。他們把異常的帳號活動拿來與外部威脅資料交叉比對，同時盯著社交媒體、訊息平台與駭客論壇，設法揪出既有偵測系統可能漏掉的模式。這些成果會寫成威脅情報報告，對外公開。
產品開發者能帶走什麼
Anthropic 這套 Safeguards 架構，等於遞給業界一張可參考的安全設計藍圖：安全從來不是單一環節，而是政策、訓練、測試、偵測到監控一路串起的連續過程。資源有限的團隊不必一步到位，可以先從幾個關鍵點下手：
- 把自己的使用政策寫清楚，並找外部專家來做壓力測試。
- 安全行為在訓練與微調階段就納入考量，別等到最後才補一層過濾器。
- 架設多層偵測機制——即時分類器要有，帳號層級的分析也不能少。
- 實際使用狀況要持續監看，威脅情報也要對外公開分享。
Anthropic 並且強調，AI 安全不是任何單一組織能獨力完成的事——他們持續向使用者、研究人員、政策制定者與公民社會徵集回饋，也透過漏洞獎勵計畫，請公眾一起測試防禦機制。這對產品開發者是個提醒：安全是一場持續進行的對話，不是勾完就結束的檢查清單。