浏览器智能体实战 · 第 9 章 从 Agent 到测试


浏览器智能体实战 · 第 9 章 从 Agent 到测试

章节摘要:本章处理一个每个团队迟早要面对的转折:探索期用 Agent 跑通的任务,进入稳定运营后该不该变成测试脚本。9.1 节讲固化决策:先立分界线——测试是概率性趋零的(断言确定性、CI 回归、零边际成本),Agent 是目标驱动的(容忍概率路径、每步耗 token),两边是光谱不是对立;再给决策表:频次、稳定性、变异度、可逆性、合规压力五个维度打分,高频、稳定、零变异的任务值得固化,收益是零 token 成本加确定性回归能力;固化管道是「Agent 探索、生成选择器、固化为 Playwright 测试」三步,与第 3.3 节的渐进式固化同源、产物更彻底。9.2 节讲 Midscene 的 E2E 桥:自然语言写用例进测试体系(Jest 与 pytest 双语形态)、AI 断言在 CI 里的口径(感知断言的误判要复核流兜住)、与纯 Playwright 的混合策略(分层:纯代码冒烟打底、语义用例补盲、关键流程并用)、flake 对比(示意值标注,以各自环境实测为准)。轨迹回放与回归任务集把第 8.3 节的审计流接进测试资产。

学习目标

  • 用「概率性趋零对目标驱动」说清测试与 Agent 的边界与光谱关系。
  • 用五维决策表判定一个任务是否值得固化。
  • 走完固化管道三步:Agent 探索、选择器生成、Playwright 测试落地(双语)。
  • 设计三层混合测试策略(代码冒烟、语义用例、并用关键流程)。
  • 说出 AI 断言进 CI 的两条纪律(复核流、报告归档)。

核心概念速览

固化管道(本章的主线) Agent 探索 产物整理 固化落地 ┌───────────────┐ ┌────────────────┐ ┌────────────────┐ │ 用自然语言跑通 │ ────▶ │ 从轨迹提炼元素 │ ────▶ │ Playwright 测试 │ │ 流程(第 2、3 章)│ │ 语义与断言口径 │ │ 零 token、进 CI │ └───────────────┘ └────────────────┘ └────────────────┘ 每步花 token 轨迹即证据(8.3) 概率性趋零 │ │ └──────── 没固化资格的长尾,继续留在 Agent 侧 ────────────┘ ​

一句话金句:让 Agent 探索未知,让测试守卫已知——两者交界处的资产叫选择器。

子章节导航

  • 第 9.1 节《固化决策》:测试与 Agent 的分界、五维决策表、固化管道三步、回归任务集。
  • 第 9.2 节《Midscene 的 E2E 桥》:自然语言用例进测试体系、AI 断言的 CI 口径、混合策略与 flake 对比。

按序读:9.1 先回答「该不该固化、怎么固化」,9.2 再回答「固化不彻底的中间地带怎么办」——决策在前,工具在后。

子章节之间的逻辑关系

┌────────────────┐ 决策产物需要执行形态 ┌──────────────────┐ │ 9.1 固化决策 │ ─────────────────────▶ │ 9.2 Midscene 桥 │ │ 边界+决策表 │ │ 自然语言用例+AI 断言│ │ +固化管道 │ │ +混合三层策略 │ └───────┬────────┘ └─────────┬────────┘ │ 产物:值得固化的任务清单 │ 产物:可进 CI 的混合用例集 └───────────────────────────────────────────┤ ▼ 第 10 章 多智能体网页工作流(固化不了的批量任务,谈并发与成本) ​

前置知识与后续延伸

  • 前置:第 3 章《Stagehand实战》3.3 的渐进式固化与不固化清单(本章决策表的直接上游);第 5 章《视觉流派》5.2 的 Midscene 三件套与 aiAssert 口径(本章 9.2 的地基);第 6 章的结果等价断言(固化测试的断言口径);第 8 章的合规确认(固化等于高频访问,合规压力是决策维度之一)。
  • 延伸阅读:《深入理解 AI Agent》第 4 章《工具》(「工具生态:MCP 与工具选择的挑战」一节)——测试资产与模型工具的选择视角互补。
  • 后续:第 11 章 11.1 的 flake 治理接住本章 9.2 的 flake 对比;11.3 的上线清单包含回归任务集的运行门槛;固化覆盖率作为体征指标进 11.2 的看板。

合规声明:本节内容仅用于你有权访问的站点与授权自动化场景;请遵守目标站点的服务条款,自动化访问的速率与方式应可被站点方接受。

作者与出处
原作者:灏天文库
整理人: 灏天文库整理
本站整理收录,版权归原作者/开源协议所有;欢迎通过原文链接访问源仓库。
发布者: 作者: 灏天文库 转发
评论区 (0)
U