8.2 Agent 评测基准：AgentBench、GAIA、SWE-bench、WebAre...

8.2 Agent 评测基准：AgentBench、GAIA、SWE-bench、WebArena、τ-bench

「我的 Agent 到底好不好？」——这是每个 Agent 开发者都要面对的问题。但 Agent 评测远比 LLM 评测复杂：LLM 评测一道题一个答案，Agent 评测是多步行动 + 工具调用 + 环境交互 + 最终结果。这一节讲清 Agent 评测的难点，以及业界主流基准各自评什么。

8.2.1 Agent 评测为什么难

LLM 评测相对简单——给一道题，看答案对不对。Agent 评测难得多：

Agent 评测的四大难点

💡 Agent 评测的核心难题是「真实环境」：要测一个 Web Agent，得有真实网页；要测一个 Coding Agent，得有真实代码库；要测一个数据库 Agent，得有真实数据库。搭建可重复、隔离、安全的评测环境，是 Agent 评测的最大工程挑战。

8.2.2 Agent 评测的维度

<svg viewBox="0 0 520 360" xmlns="http://www.w3.org/2000/svg">
  <!-- 雷达图五边形 -->
  <polygon points="260,40 460,180 380,320 140,320 60,180"
           fill="none" stroke="#475569" stroke-width="1"/>
  <polygon points="260,100 400,180 340,280 180,280 120,180"
           fill="none" stroke="#94a3b8" stroke-width="1"/>
  <polygon points="260,160 340,180 300,240 220,240 180,180"
           fill="none" stroke="#cbd5e1" stroke-width="1"/>

  <!-- 轴 -->
  <line x1="260" y1="180" x2="260" y2="40" stroke="#475569"/>
  <line x1="260" y1="180" x2="460" y2="180" stroke="#475569"/>
  <line x1="260" y1="180" x2="380" y2="320" stroke="#475569"/>
  <line x1="260" y1="180" x2="140" y2="320" stroke="#475569"/>
  <line x1="260" y1="180" x2="60" y2="180" stroke="#475569"/>

  <text x="260" y="30" font-size="13" fill="#475569" text-anchor="middle" font-weight="bold">成功率</text>
  <text x="475" y="184" font-size="13" fill="#475569" font-weight="bold">效率</text>
  <text x="395" y="345" font-size="13" fill="#475569" font-weight="bold">成本</text>
  <text x="120" y="345" font-size="13" fill="#475569" text-anchor="end" font-weight="bold">安全</text>
  <text x="50" y="184" font-size="13" fill="#475569" text-anchor="end" font-weight="bold">鲁棒性</text>

  <text x="260" y="200" font-size="13" fill="#db2777" text-anchor="middle" font-weight="bold">Agent 评测五维度</text>
</svg>
​

Agent 评测至少要看五个维度：

⚠️ 只看成功率是远远不够的。一个成功率 90% 但要 50 步、烧光预算的 Agent，不如成功率 80% 但 10 步完成的 Agent。生产 Agent 评测必须多维度权衡。

8.2.3 主流 Agent 评测基准

AgentBench：综合 Agent 能力

AgentBench（Liu et al. 2023, 清华）是最早的系统化 Agent 评测基准之一，覆盖 8 类环境：

AgentBench 的价值：首次系统比较各 LLM 作为 Agent 的能力，揭示「会聊天 ≠ 会办事」——很多对话表现好的模型，Agent 能力反而弱。

GAIA：通用 AI 助手基准

GAIA（General AI Assistants, Mets et al. 2023, Meta）专门测「真实世界通用助手」能力。它的任务设计有几个特点：

GAIA 把任务按难度分 Level 1/2/3，是衡量「通用 Agent 助手」水平的重要基准。

SWE-bench：软件工程 Agent

SWE-bench（Jimenez et al. 2023）专测软件工程能力——给 Agent 一个真实 GitHub 项目的 issue，让它修改代码解决问题。

SWE-bench 是衡量「Coding Agent」水平的核心基准。Devin、OpenDevin、SWE-Agent 等都在它上比拼。它非常难——早期最强模型也只能解几个百分点。

WebArena：Web 操作 Agent

WebArena（Zhou et al. 2024）专测网页操作能力——让 Agent 在仿真的多网站环境里完成 Web 任务（购物、发帖、查资料）。

WebArena 衡量「Web Agent / GUI Agent」的能力，是 Computer Use 类产品的关键基准。

τ-bench：工具使用 Agent

τ-bench（tau-bench, Shinn et al. 2024）专测工具使用与政策遵循——给 Agent 一组工具和政策，让它在与模拟用户的对话中完成任务。

τ-bench 关注「Agent 是否按规则安全办事」，与第 6.4 节安全主题紧密相关。

8.2.4 五大基准对比

8.2.5 评测的常见指标

过程指标 vs 结果指标

💡 过程指标的价值：只看结果会漏掉「侥幸成功」（瞎猫碰上死耗子）和「低效成功」（绕了一大圈）。过程指标能区分「真懂」和「碰巧」。生产 Agent 评测应当结果 + 过程并重。

8.2.6 自动化评测的难点

Agent 评测理想是「全自动化」——CI 流水线里跑评测。但有几个难点：

难点一：环境搭建

每个基准都要专门环境（Web 仿真、代码库、数据库等），搭建成本高。

难点二：结果判定

有些任务的结果难以自动判定：

难点三：非确定性

同一 Agent 同一任务，跑两次结果可能不同（LLM 采样随机）。要多次跑取平均。

难点四：成本

Agent 评测一个任务要多次 LLM 调用，跑完整套基准成本不低。

8.2.7 人工评估：不可替代

完全自动化很难，人工评估仍是 Agent 评测不可替代的一环：

LLM-as-a-Judge：折中方案

让一个强 LLM 当评委，对 Agent 输出打分——介于全自动与人工之间。优点是成本低、可规模化，缺点是评委 LLM 本身可能有偏见。

⚠️ LLM-as-a-Judge 的陷阱：评委 LLM 会偏好「像自己」的答案——GPT-4 评委可能偏好 GPT-4 风格。关键评测应当多个模型交叉评判 + 抽样人工复核。

8.2.8 评测的反模式

8.2.9 生产 Agent 的自评体系

除公共基准，生产 Agent 还应有自评体系：

💡 公共基准 vs 自评体系：公共基准（GAIA、SWE-bench）衡量「通用能力」；自评体系衡量「业务场景能力」。两者都不可少——只看公共基准会脱离业务，只看自评会脱离行业水平。

本节小结

• Agent 评测远比 LLM 评测难——多步轨迹、真实环境、结果判定、成本高四大难点。最大挑战是「真实环境」的搭建。
• 评测至少看五维度：成功率、效率、成本、安全、鲁棒性。只看成功率远远不够。
• 五大主流基准：AgentBench（综合 8 类）、GAIA（通用助手）、SWE-bench（软件工程，极难）、WebArena（Web 操作）、τ-bench（工具与政策）。
• 评测指标分结果指标（任务是否完成）与过程指标（过程是否合理）。过程+结果并重——只看结果会漏掉侥幸与低效。
• 自动化评测有环境/判定/非确定/成本四大难点，人工评估仍不可替代。LLM-as-a-Judge 是折中方案，但要警惕评委偏见。
• 反模式：只看成功率、只跑一次、只测 happy path、不隔离环境、盲信 LLM 评委。
• 生产 Agent 应有「公共基准 + 自评体系」双重评测。