Pydantic AI 與 claude-code 同台：AgentEnv 裡的可重現評測

摘要： 2026 年 11 月 6 日，Pydantic 官方宣布 Pydantic AI 成為 Scale AI 開源 AgentEnv Framework 支援的 agent。這代表你可以在有種子資料的擬真環境裡跑 Pydantic AI、用驗證器給結果打分，還能把同一個任務換成 claude-code 再跑一次，做真正的同等條件對比。對每個在煩惱「玩具 prompt 測不出真實行為」的 builder 來說，這是把評測從固定資料集搬進可重現世界的第一步。

AgentEnv Framework 到底是什麼

AgentEnv Framework 是 Scale AI 的開源框架，用來搭建讓 agent 在擬真應用、資料和多步驟任務上練習的環境。兩個核心概念要分清楚：環境是一個可組合的世界，例如信箱、Slack、客服系統，配上種子資料；任務則是一張步驟圖，依序部署環境、部署 agent、下 prompt、驗證結果。任務會固定各元件的版本，所以重跑能還原當時的狀態。環境透過 MCP 暴露工具，agent 則透過 A2A 連上來。

Pydantic 文章裡那個關鍵論點值得記住：固定資料集上的 eval 能抓回歸，但抓不到「昨天信箱長相不同、今天就寄錯收件人」這種問題。有種子資料、可重現的環境配上驗證器，才說得出到底哪裡出錯。

Pydantic AI 在裡面怎麼跑

這次整合不是把 CLI 包一層，而是讓 Pydantic AI 在行程內直接執行。每個任務是一次帶有 Coder capability 的 Agent 執行，用的是 Pydantic AI Harness 的工具集，也就是 CLAI 底層同一套：shell、read_file、write_file、edit_file、list_files、grep 和 delegate_task。有一個安全細節做得不錯：shell 指令看得到 PATH、HOME 和 locale，但看不到 model key。

模型端可以接任何 OpenAI 相容的 endpoint。在模型名稱加上 vllm: 前綴會啟用 Pydantic AI 的 vLLM provider，依模型家族（Qwen、DeepSeek、GLM、Llama 等）把請求調整成 vLLM server 期望的格式。

狀態管理也有交代：每個 context 對應一段對話，存在 agent 自己的磁碟上，所以同一 context 裡的後續任務能接著聊。搬到新執行個體時走 snapshot 流程，保存並還原對話，需要時連 workspace 一起帶走。MCP server、skills、peer agents 和即時軌跡都透過標準的 A2A extensions 傳遞。如果追蹤過先前 Pydantic AI 處理動態 system prompt 快取的做法，可以把他們的風格理解為：先把機制講清楚，再讓你決定怎麼接。

動手前要知道的成本

上手指令很短：

uv tool install agentenv-framework
agent-env run hello

但預設什麼都沒設定。你必須自己給模型 endpoint，並在執行前 export PYDANTIC_AI_GATEWAY_API_KEY，否則跑不起來。範例設定長這樣：

# .agentenv/config.toml
[model]
base_url = "https://gateway-us.pydantic.dev/proxy/openai"
api_key = "env:PYDANTIC_AI_GATEWAY_API_KEY"
[model.roles]
agent = "gpt-5.5"
[agents]
default_a2a_agent_id = "pydantic-ai"

base URL 不要加 /v1 後綴，agent 會自己補上 /chat/completions；歐盟組織會拿到 gateway-eu.pydantic.dev。打開 Gateway 的 telemetry 後，agent 每次模型呼叫都會變成 Pydantic Logfire 裡的一個 span，不用改 agent 程式碼。

框架附了一個很小的範例 bundle mail-mcp：一個固定裝著三封信的 MCP 信箱 server，其中一封是發票，驗證器檢查 agent 能不能找到那封發票。在任務 JSON 裡加兩個步驟就能把 Pydantic AI 接進來：

{ "id": "assistant", "type": "deploy_agent", "env_ids": ["mail"], "a2a_agent_id": "pydantic-ai", "agent_name": "assistant", "depends_on": [{ "task_step_id": "env" }] }

還有一個實際成本要預期：第一次執行會建置環境部署用的 gateway，需要幾分鐘。

一個能直接做的對比實驗

這次整合最實用的地方，是比較變成一行設定的事：把 a2a_agent_id 改成 claude-code 再跑一次，同樣的環境、同樣的 prompt、同樣的驗證器，換的只有 agent。過去要公平比較兩個 agent 得自己拼湊 harness，現在框架把變因收斂到一個欄位。

要說清楚這篇文章沒有建立的事：Pydantic 官方與來源都沒有給出任何 pass rate 或效能數據，也沒有提到這個整合在生產環境的採用情況或穩定度。評測結果是否可信，仍然取決於環境種子資料本身夠不夠擬真——框架解決的是可重現性，不是真實性的保證。

所以下一步很具體：用 mail-mcp 跑一次 smoke test，確認 Logfire 裡每個模型呼叫都有 span，再挑一個你真正的業務場景當種子資料，把 Pydantic AI 和 claude-code 各跑一輪。評測環境有了，剩下的差異就交給你自己的資料來回答。

參考來源

Pydantic AI is now a supported agent in AgentEnv Framework

原始貼文

在 X 上查看原貼文