10.2 基准与评测

10.2 基准与评测

本节摘要：「我的智能体在挖洞这件事上到底几斤几两」——这个问题靠自我感觉回答不了，靠厂商口径也回答不了，要靠基准。本节过三套最有代表性的：CyberGym（arXiv:2506.02548）从 188 个开源项目收集 1507 个真实漏洞构造「复现任务」，用双版本判定保证 PoC 的真实性；CyberGym-E2E（arXiv:2606.04460，ICML 2026）把流程推到端到端；Cybench（arXiv:2408.08926，ICLR 2025 Oral）用 40 个专业级 CTF 任务配上时间预算分级与智能体脚手架，与 CyberGym 形成「解题对复现」的两张考卷；EnIGMA（ICML 2025）专门回答「给智能体交互式工具有多大增益」，为全书工具链路线提供实证。最后给读榜单的五问框架——任务分布、工具配置、成本口径、指标定义、时间预算——并给一句冷静的结论：榜单不等于你的工作负载，自建小评测集才是真标尺。

学习目标

• 说明 CyberGym 任务构造方式、双版本判定与它考察能力的侧重点。
• 说明 Cybench 与 CyberGym 的定位差异（CTF 解题对真实漏洞复现）。
• 转述 EnIGMA 关于交互式工具的核心结论。
• 用五问框架拆解任一 AI 安全榜单。
• 为自己的场景搭一个最小评测集。

一、为什么盯基准

第 10.1 节的方法论跑起来后，你迟早面对三个问题：换个模型提升多少？加个工具提升多少？改一次提示词是变好还是变坏？没有基准，这些问题的答案全靠手感；有基准，答案是可复现的数字。

基准之于智能体，就是考卷之于学生——不同考生（模型、编排、工具面）在同一张卷子上比较。但考卷本身也有好坏：任务太简单会饱和失真，任务太杂会归因困难。AI 安全方向的考卷近年快速成熟，三套最值得精读，它们分别代表三种考法：复现真实漏洞、限时解 CTF、以及专门考察「工具面」这个变量。

读基准论文先认识的五个名词：

二、CyberGym 与 CyberGym-E2E：真实漏洞复现

CyberGym（arXiv:2506.02548）的构造思路：从 188 个开源项目收集 1507 个真实漏洞（有对应修复补丁），给智能体的任务是「复现漏洞」——在含漏洞的版本上写出能触发它的 PoC。任务按提供线索的多少分级（给补丁、给相关文件、无提示等），分别考察不同的能力面。

# cybergym_task.txt —— CyberGym 任务形态与双版本判定

  含漏洞代码版本 +（可选）修复补丁
        │
        ▼
  智能体：分析、定位、构造触发输入
        │
        ▼
  判定：PoC 在漏洞版触发、在修复版不触发 ──▶ 记分
        （碰巧崩一下不算数：双版本对照排除）
​

这种「双版本判定」设计相当扎实：PoC 必须真的因为该漏洞而触发。CyberGym-E2E（arXiv:2606.04460，ICML 2026）把考察面再推进一步，覆盖更完整的端到端流程。读其论文结论时的预期管理：真实漏洞复现对智能体仍然很难，成绩远未饱和（以论文数据为准）——这正是「基准存在」的意义：它把「AI 能挖洞」从口号变成了有刻度的过程。

从 CyberGym 的任务难度分级还能读出一个教学价值：同一漏洞在「给补丁」「给文件」「无提示」三档下的通过率逐档下降，落差本身就是能力地图——你的智能体卡在哪一档，就该补哪块能力（给补丁都复现不了，说明逆向基本功缺；无提示档掉得厉害，说明发现能力弱）。把三档当诊断工具用，比只看总分有用得多。

三套基准与本书章节的呼应，方便按需精读：

三、Cybench：专业级 CTF 任务

Cybench（arXiv:2408.08926，ICLR 2025 Oral）换了张考卷：40 个专业级 CTF 任务，覆盖逆向、漏洞利用、密码学等方向，每个任务打包成独立环境，并按难度与建议时长分档。它的两个设计值得注意：

• 时间预算分级：同一任务给智能体不同时长预算，考察「快而糙」与「慢而全」的不同策略面——成本维度的雏形。
• 自带智能体脚手架：统一的执行环境与工具调用框架，让「换模型」成为可控变量，而不是连提示词工程一起换掉。

与 CyberGym 的差异用一句话记：Cybench 考「解题」（CTF 题目目标明确、环境封闭），CyberGym 考「发现与复现」（真实项目、噪声多、无题目提示）。两张考卷都好，考的不是一种试。

四、EnIGMA：交互式工具的放大效应

EnIGMA（ICML 2025）回答的问题在第 8.3 节已预告：给智能体交互式工具面（终端、调试器等），成绩提升多少？其结论——交互式工具显著放大智能体的安全任务能力——为本书的工具链路线提供了实证背书：模型不是独自变强，是拿着 angr、pwndbg、CPG 查询变强的。

EnIGMA 的一层细化也值得记住：它不仅接现成工具，还设计了智能体友好的工具封装（把冗长的命令输出压缩成模型易读的结构化摘要）——工具不是接上就完，接口的「模型可读性」本身就是变量。对读者的实操启示：与其追新模型，不如先把第 06 到 08 章的工具面接进你的智能体——EnIGMA 类研究显示这是性价比最高的一档提升。

五、五问读榜单 + 自建评测集

任何 AI 安全榜单（包括上述三个的后续版本与各家厂商榜）先过五问：

五问过后常会发现：榜单前十名在你的负载上未必比你现在的组合强。终局建议是自建小评测集，做法四步：从自己授权范围内的项目里挑十个已知问题（历史漏洞、内部演练埋点）；固定环境（容器快照）与预算（时长与成本上限）；任何改动（换模型、换工具、改提示词）都过这张小考卷；成绩与成本一起入档，形成自家排行榜——这比任何公开榜单都贴近你的真实工作。

自建评测集的目录形态（十题规模够用）：

# evalset_layout.txt —— 自建小评测集的目录约定
evalset/
  cases/case01/        每题一目录：目标代码快照加已知问题说明
  cases/case02/
  runner/              统一执行入口：装环境、限时长、收结果
  results/             每次运行一目录：日期加改动说明加成绩
  baseline.md          当前基线：通过题数、平均成本、失败清单
​

两个纪律让它不腐化：题库定期轮换（避免对题目过拟合，内部埋点每季换一批）；baseline 与 results 都进 git（任何「我改了个提示词提升了」都必须可回放）。

从榜单到决策的完整动线，收束本节：

• 第一步：五问过榜——确认任务分布、工具配置、成本口径、指标定义、时间预算。
• 第二步：映射负载——榜单任务与自家负载的覆盖率几成？差在哪类？
• 第三步：小评测复测——把榜单前几名配置在自己十题上跑一遍。
• 第四步：成本对齐——按自家预算档位重算成绩，超预算的方案出局。
• 第五步：季度复评——榜单更新、模型换代时重走一遍，决策记录入档。

动线的关键在第三步：榜单说「它强」，小考卷说「它对你的活强不强」——后者才是决策依据。

评测数据的一个诚实示范：本书闭环（第 8.2 节）在自己的 crackme 上近乎必胜，但这不构成对外宣称「破解率高」的依据——任务分布太窄、样本太小。把这句话的反面写进你的评测报告模板：每个成绩都注明「在什么任务上、什么预算内、什么工具配置下取得」——三要素缺一的分数，等于没有分数。

与三套基准相关的论文编号备查（引用时核对原文）：CyberGym 为 arXiv:2506.02548；Cybench 为 arXiv:2408.08926；CyberGym-E2E 为 arXiv:2606.04460。编号写对是引用的第一道诚实线。

本节要点回顾

• CyberGym：1507 个真实漏洞、188 个项目，双版本判定 PoC，复现远未饱和。
• Cybench：40 个专业级 CTF 任务，时间预算分级，自带脚手架；与 CyberGym 是两种考法。
• EnIGMA：交互式工具显著放大智能体，工具的「模型可读接口」本身是变量。
• 五问：任务分布、工具配置、成本口径、指标定义、时间预算。
• 榜单不等于你的负载：自建十题小评测集（环境与预算固定、成本一起入档）才是真标尺。

基准给了刻度，趋势给方向。2026 年的研究关键词正在从「单任务智能体」移向仓库级复现、成本敏感与智能体记忆——下一节看这三个词对从业者意味着什么，以及 XBOW 登顶 HackerOne 传递的产业信号。