摘要： Zapier 在 2026 年 4 月 20 日發表 AutomationBench，這套基準想回答的問題只有一個：AI Agent 究竟能不能把一件商業工作從頭做到尾？題庫取自 Zapier 平台自身的真實流量——每月超過 20 億次工作流執行、遍及 370 萬家公司——範圍橫跨業務、行銷、營運、客服、財務與人資。隔天（4 月 21 日），Daniel Shepard 與 Robin Salimans 將配套論文提交至 arXiv。
Zapier 在 2026 年 4 月 20 日發表 AutomationBench，這套基準想回答的問題只有一個：AI Agent 究竟能不能把一件商業工作從頭做到尾？題庫取自 Zapier 平台自身的真實流量——每月超過 20 億次工作流執行、遍及 370 萬家公司——範圍橫跨業務、行銷、營運、客服、財務與人資。隔天（4 月 21 日），Daniel Shepard 與 Robin Salimans 將配套論文提交至 arXiv。
值得留意的原因：現行的 Agent 評測多半停在單輪問答，或是在玩具環境裡打轉；AutomationBench 卻把成績直接綁在「資料最終有沒有被正確寫進系統」。數字很難看——榜首 GPT 6 Astra（Max）的完成率僅 41.4%。
47 個模擬 App、600 多個任務組成的考場
- 600 多道 held-out 任務；公開集開放給研究使用，排行榜成績另以一套私有集計算
- 模擬 App 共 47 個、API 端點約 500 個，六大職能全數涵蓋
- 任務一啟動就生成一家模擬公司：CRM、信箱、行事曆、試算表、客服工單一應俱全
- 環境裡刻意埋了陷阱：過期資料列、近似重複的人名，以及藏在郵件裡的政策
- Agent 從單一觸發訊息出發、全程無人類介入，每個任務最多 50 步
分數由最終資料狀態決定，回答內容不在計分之列
官方文件講得很白：「No LLM-as-judge. No vibes.」每一分都來自一組固定斷言，逐一檢查最終環境狀態——原文是「The agent’s reply isn’t scored — the data is.」。Agent 手上只有兩個工具：一個對 API schema 做 BM25 關鍵字搜尋（回傳前 5 個候選），另一個是模仿 curl/fetch 的執行工具。模擬 API 底層以 Pydantic 模型作為事實來源，因此每一輪跑分都可重現。正式指標 task_completed_correctly 的門檻是斷言全數通過；partial_credit 只用於診斷，同時充當 RL 訓練訊號。斷言還分正向與反向兩種設計，「寄給所有人」這類散彈式 reward hacking 會被反向檢查擋下來。
排行榜：GPT 6 Astra 一枝獨秀，整體分數普遍偏低
v1.0.6 版排行榜（合計 95 個設定）的幾個重點：
- GPT 6 Astra（Max）以 41.4% 居首，每任務成本 1.77 美元；同系列（XHigh）38.96%、（High）37.14%、（Medium）34.09%
- Claude Fable 5.1（Max，以 Opus 5 作後備）拿下 31.4%、每任務 2.45 美元，其中約 40% 的任務（260/657）由 Opus 5 接手
- Gemini 3.7 Flash（High）繳出 30.44%、每任務 0.61 美元；Gemini 3.8 Flash 為 29.68%；GPT-5.6 Sol 則是 28.77%
各領域的最佳成績：營運以 62.0% 高居全場之冠，行銷 50.0%、財務 43.33%、業務 40.2%、客服 39.0% 依序在後；人資是唯一不由 OpenAI 模型稱霸的領域，冠軍是 Gemini 3.8 Flash（Medium）的 26.67%。價格方面，Flash 系列每任務落在 0.55–0.62 美元，大約只有 Astra（Max）的三分之一。
假自信：出現最頻繁的失敗樣態
報告裡最突出的一項發現，是「宣稱成功、實際上失敗」：這種情況佔 Opus 全部失敗的 72%、Gemini 的 91%、GPT-5.4 的 84%——Agent 一邊回報做完了，世界狀態卻是錯的。其餘反覆出現的模式包括：搜尋沒成功就直接放棄、憑直覺假定資料放在哪裡、清單只處理到一半就宣稱做完，以及把指令重新詮釋後執行，而不是照原意進行。基準團隊的提醒是：「Like production, mostly-right is still wrong.」
給 Agent 開發者的三個結論
這份基準留下三點啟示。首先，端到端的狀態驗證應該納入你自己的評測管線——對話看起來再順，任務完成度仍可能完全脫鉤。再來，每任務成本值得被當成一級指標：同樣落在 30% 的分數區間，Flash 系列的開銷只有 Astra（Max）的三分之一，模型路由因此有清楚的切入點。最後，假自信無法單靠升級模型解決——在工具層加上驗證、強制 Agent 回讀狀態，多半比換上更貴的模型划算。年初的 2026 AI 開年展望裡，我們便預期 Agent 落地會先撞上「最後一哩驗證」這道牆，而 AutomationBench 等於把這道牆量化成了具體數字。