AI 風險討論多半聚焦在模型上線之後。Meta 在 2026 年 10 月 2 日發布的 Developing Capable Models Responsibly 一文，把焦點往前拉：該公司更新了內部的 Superintelligence Scaling Framework，明確把「失控防護」要求延伸到訓練與評估階段。對正在打造 AI 產品的人來說，這份文件值得讀，不是因為它是哪家大廠的公關稿，而是因為它列出了一套可以在自家團隊裡借鑑的具體機制。
為什麼訓練階段也需要防護
Meta 在文章中指出，近期的事件顯示重大 AI 風險可能在部署之前就出現：具備強大網路安全能力的模型，可能在評估或訓練期間利用環境漏洞、破壞周邊基礎設施或採取未經授權的行動。
因此 Framework 現在要求，在每次 reinforcement learning 訓練 run 開始前，先判斷被訓練的模型是否可能危害其運行環境；如果可能，就必須先部署具體緩解措施。具體做法有三層：
- 高風險 run 的環境放在經過內部標準流程審查的 sandbox 裡，有高危漏洞的 sandbox 會被修補或直接排除；環境也會被檢查是否含有誘發 reward gaming 的設計，例如可被鑽漏洞的評分機制或不合理的任務。
- 模型輸出，包括完整的 trajectory 與 chain of thought，會即時寫入防竄改、防刪除的安全日誌系統。
- 除了值班的 on-call 團隊，自動化系統會監控高風險模型的所有 rollout，偵測到嚴重不當行為或逃逸嘗試時可以直接中止 run。Meta 也表示這些監控器本身會被壓力測試。
如果你曾讀過這個 blog 先前談改 prompt 或換模型之後需要鎖住的回歸測試的文章，會發現思路相通：安全不是上線前的單次檢查，而是嵌在開發流程每個環節的持續驗證。
Open-weight 釋出的特殊難題
Framework 更新的第二個重點是 open-weight 模型。Meta 的立場一貫：開放權重讓學術界和醫學研究者能微調模型做 X-ray 分析、疾病偵測等工作，也讓 alignment 與可解釋性研究有可複製的素材。
但開放權重帶來一個閉源模型沒有的問題：拿到權重的人可以重採樣繞過 refusal、預填輸出、或直接微調掉拒答行為。Meta 這次的更新，明確要求在風險評估中考量模型「釋出後會被怎麼改、怎麼用」，並結合具體部署場景來判斷。對生化武器風險，他們評估的不只是模型本身的能力，還包括某次部署會在多大程度上助長擴散。
這對 builder 的提醒很直接：評估一個 open-weight 模型時，不能只看官方 demo 的表現，還要假設權重已經被第三方修改過。
治理面：董事會層級的委員會
第三項變更是組織性的。Meta 計畫在未來幾個月設立一個由 Board of Directors 組成的 AI 委員會，負責審查 Framework 的未來修訂，並獨立確認公司運作符合自己定下的標準。文章將這些安排與本週在 White House 做出的承諾連結——內部獨立團隊監控模型能力與對齊狀況，外部再由獨立的審計者或評估者把關。
該怎麼讀這份文件
持平地說，這是 Meta 對自己設定的標準，執行細節與實際效果仍待觀察；文章本身也承認 Framework 會隨技術演進持續修改。但對產品團隊而言，有兩個可以立刻吸收的實務點：一是「訓練與評估環境也需要威脅模型」——如果你的 agent 會執行程式碼或操作工具，同樣的 sandbox 審查與防竄改日誌邏輯可以直接搬過來用；二是「評估要假設模型會被改」——設計防護時把最壞的使用情境納入，而不是只測你預期的用法。標準寫得再漂亮，最終還是看 run 有沒有真的被自動監控擋下來。