摘要： 微軟 Responsible AI 團隊於 2026 年 6 月 2 日開源 ASSERT，可把自然語言規格轉成 AI 行為測試情境、實際執行並由 LLM 評審計分。框架分別統計不可允許行為與可允許行為違規，保留工具呼叫路徑，並支援 LiteLLM、代理追蹤、Docker 沙箱與 GitHub Action 回歸關卡。文章認為它補的是產品情境守規與否，而非取代通用模型評測。
ASSERT（Adaptive Spec-driven Scoring for Evaluation and Regression Testing）這套框架，是微軟 Responsible AI 團隊在 2026 年 6 月 2 日放上 GitHub 的開源作品：開發者只要以自然語言描述 AI 系統該有的舉止，它便會據此產出測試情境、實際執行並打出分數。專案採 MIT 授權釋出，命令列套件名稱為 assert-ai。
凡是對外發布 AI 功能的團隊，都認得它瞄準的這道缺口：實驗室端有涵蓋安全、合規、諂媚與對齊的通用評測，但企業真正得確認的，是代理在自己的產品情境裡是否按規則行事——這一塊恰恰是通用基準碰不到的地方。ASSERT 的目標，是把這項檢查從靠手感的手工業，變成照表操課的例行流程。
認識 ASSERT
打造 ASSERT 的，是微軟 Responsible AI 組織底下的產品、科學、工程與設計四個團隊；它的自我定位是一套「需求驅動」的評測工具。餵進去的素材不必是字斟句酌的規格書——產品需求文件（PRD）、威脅模型，甚至一份事後檢討用的事故報告，都能直接拿來當起點。適用時機橫跨三個階段：開發中、部署之後，以及長期的持續監控。
從一段規格長出整套測試
整條流程可以拆成四步。開發者先以高階自然語言寫下系統的目標、政策與行為界線；ASSERT 接手，把這些描述整理成結構化的「可接受／不可接受行為」清單；再依清單產出問題情境與測試案例——單輪、多輪對話都涵蓋在內——並對目標系統實際執行；最後一步交給 LLM 評審，按政策為每段對話打分數。執行途中會留下中間動作與工具呼叫路徑的紀錄，所以你看得到「是從哪一步開始偏掉」，而不只是收到一句「結果錯了」。想讓評測更貼近自家系統，開發者還能補充系統情境、工具與限制條件。
TechCrunch 報導裡的示範相當具體：一個文件研究代理，規定不得把信寄給公司以外的任何人、機密資訊僅限 C 級主管可以取得、摘要得寫得精簡並延續前文脈絡——ASSERT 會就其中每一條規則產出對應測試，持續驗證系統有沒有越線。
兩類指標、Docker 沙箱與 CI 關卡
評分結果由兩個核心指標構成：「不可允許行為違規」屬於傷害面——代理碰了絕對不准碰的事；「可允許行為違規」屬於權衡面——本該做到的事卻沒做到。兩種失敗分頭計分、互不混算，一個籠統的總分才不會蓋掉失敗本身的性質。
它能串起的外部資源不少：模型端點靠 LiteLLM 支援超過 100 個；LangGraph、CrewAI、AutoGen 等代理框架，則經由 OpenInference/OTel 追蹤接上。高風險的工具呼叫可以放進內建的 Docker 沙箱裡安全演練；隨附的行為預設庫則備妥了安全、公平性與代理失敗模式相關的內容。跑完的評測以本地優先的 JSON/JSONL 檔案留存，並附上網頁檢視器方便檢閱，另有 GitHub Action 可掛進 CI 擔任回歸關卡。操作入口有兩條路：一是給 Claude Code、Copilot、Cursor 這類編碼助理使用的引導式 skill，二是自己動手的 CLI。它甚至能從真實發生過的失敗反推出治理政策（ACS 步驟），再重跑一輪評測，量化政策帶來多大的改善。
為何選在此刻
微軟 Responsible AI 產品長 Sarah Bird 說得直截了當：「我們學到的一件事是，評測對做出好決策絕對關鍵。」若不了解系統的行為，「就很難知道它有沒有達到組織的標準」；可信賴的系統，則需要在「更多維度」上接受應用層級的評測。
放在大背景來看，整個產業正往可重複測試與回歸檢查的方向走：Stanford 的 HELM、MLCommons 的 AILuminate 加上 METR 的評測，撐起公共基準這一側；應用端這一側，則由 ASSERT 來補位。依 repo 的說明，其方法沿自 Agarwal 等人 2026 年的論文，管線設計則從 Anthropic 開源的 Bloom 與 Petri 兩套行為評測框架汲取靈感。
實務上的三個影響
影響有三。第一，行為驗證往前移：開發階段就用規格生成測試，不必等上線之後靠客訴才曉得代理寄錯了信。第二，評測產物落成檔案：JSON/JSONL 搭配 CI gate，讓「代理是否還遵守政策」成為可 diff、可 review 的標準檢查項。第三，它補的是公開基準的位，不是取而代之：通用評測處理的是模型整體好不好的問題，ASSERT 處理的是它在你的產品裡守不守規矩——兩個層次都少不了，而一直缺順手工具的，正是後面這一層。