AGENTIC COMMONSAI 產業簡報

繁中EN

主題AI 安全與防護出版 2026-10-15

返回文章列表Anthropic

Anthropic 讓 METR 進駐公司:獨立評估的新標準

摘要: Anthropic 在 2026 年 10 月 15 日宣布,已讓非營利評估機構 METR 的六名員工以「類員工權限」進駐公司,包括公司硬體、辦公空間,以及與內部風險評估團隊大致相當的系統存取權。METR 可自行發布風險評估結果,Anthropic 不能否決,只能要求遮蔽少數預先定義的機密類別。對做 AI 產品的人來說,這是一個值得留意的訊號:前沿模型公司的安全評估,正在從「自己說了算」走向可被外部驗證。

為什麼需要讓外部人看見內部

Anthropic 在這次公告裡承認一個結構性矛盾:模型越強,需要的防護和風險評估就越嚴格,公司也想對決策負公開責任——但安全工作裡很多資訊不能直接公開,因為可能被惡意行為者利用,或涉及運算資源、訓練方式等商業機密。

他們的解法是把「公開資訊」換成「公開可信的第三方」。讓評估者深度存取內部資訊,由他們對外分享證據和有理據的結論,目標是縮小「評估者對前沿 AI 公司系統的理解」與「公司自己的理解」之間的差距。

Anthropic 用銀行監管做類比:銀行最清楚自己的風險部位,所以監管機構派駐場監督員進駐大型銀行。AI 產業如今在做類似的事。

「類員工權限」實際上是什麼

具體安排有幾個關鍵細節:

  • 六名 METR 員工拿到公司硬體、辦公空間,以及和 Anthropic 內部風險評估團隊大致同等的工具與系統存取權。
  • 除了少數明確界定的類別(客戶資料、律師委託人特權資訊、模型架構資訊等),Anthropic 鼓勵員工像對待負責 alignment 風險的同事一樣,與他們分享資訊。
  • METR 會發布對風險水準、事件和做法的分析;Anthropic 無權否決發布,只能要求遮蔽特定類別。而 METR 可以公開評論這些遮蔽是否合理——只要不洩漏被遮蔽的內容本身。
  • 這項合作限於一小組人,並受可執行的協議約束;METR 其他員工,包括與 Anthropic 有其他合作的研究員,都被隔離在這個團隊之外。

換句話說,這不是讓外部組織拿到 Anthropic 或其客戶資料的管道,而是讓少數有資格的人在公司安全標準下近距離觀察運作。

三級存取:一個可複製的治理設計

Anthropic 同時公布了為評估者設計的三級存取架構:第一級是範圍狹窄的風險調查,由 Anthropic 決定提供哪些存取,發布需公司批准;第二級可未經批准自行發布、能接觸更多資訊,公司仍可要求移除特定類別,但評估者可公開表達對遮蔽的看法;第三級就是 METR 目前的安排——類員工權限,加上與第二級相近的發布權。

SecureBio 目前在第一級,正在審查 Anthropic 八月風險報告的化學與生物武器章節,之前已完成並發布過一份試點審查。Accenture 和 Faculty 則在合作中,方向包括模型紅隊測試、alignment 評估和安全防護測試。Anthropic 也透露正與包括 Hugging Face 在內的其他組織進行早期討論,長期希望在第三級配置多個評估團隊,各自發布對風險態勢的分析。

值得注意的是,這一切是自願的,背景是 Anthropic 去年承諾強化獨立第三方評估、並簽署了白宮關於超級智慧政府的協議,承諾與外部審計或評估機構合作。

對 builder 的意義

這份公告對大多數團隊不會有直接影響——你不會讓 METR 進駐辦公室。但它示範了一個你在產品裡同樣會面對的問題:當你的系統影響外部時,「請相信我們」愈來愈不夠,你需要設計出讓第三方能驗證、又能保住機密的機制,包括分級存取、預先界定的遮蔽類別,以及允許對方公開挑戰你的遮蔽決定。

如果你正在替 agent 產品建立自己的評估流程,可以從 smaller scale 開始:把行為變成可評分的測試,讓外部或至少非開發者能複查結果,參考這篇agent 評估常見問題。至於 Anthropic 的三級架構最終能否促成整個產業的常態做法——他們自己也只是說「正在快速推進、邊做邊學」,這個問題還沒有答案。

參考來源

AGENTIC COMMONS由 PHLEGON LABS 經營
分享X電郵
支持我們

相關閱讀

  1. 選舉級的 red team:Anthropic 用資料與外部審查替 2026 中期選舉做準備

    Anthropic 公布中期選舉前的防護部署:25 萬則對話分析、外部機構壓力測試,以及拆解多步驟濫用的新分類器。

    Anthropic

  2. 十一月十二日前檢查你的 agent:Anthropic 新版使用政策對 builder 的六個實際影響

    Anthropic 於 2026 年 10 月 8 日公布新版 Usage Policy,11 月 12 日生效,涉及監控、武器、選舉與高風險場域的具體規則變化。

    Anthropic

  3. 當核安遇上分類器:Anthropic 與 NNSA 的合作,對開發者意味著什麼

    Anthropic 與美國 NNSA 共同開發核相關內容分類器,初步測試準確率 96%,並已部署於 Claude 流量。

    AI Safety