- 文集信息
- 目录大纲
- 最新文档
- 知识宇宙
文集详情
文集导读
教程总纲 · 浏览器智能体实战：从动作原语到生产落地
讲什么、怎么学、怎么跳读，一页说清。本书面向工程师：每个流派给能跑的代码，每个论断给可复核的口径。
一、这本书讲什么
一句话：教你把「让 AI 操纵浏览器」从口号变成可维护的工程——按四流派分段选型，用六个主流实现落地，全程用验证与合规兜底。
展开成三句：
- 公共语法——网页智能体的一切操作降解为三个动词：act（执行）、extract（抽取）、observe（观察），换框架只换方言，不换语法。
- 四流派分段选型——DOM 动作原语（browser-use、Stagehand）、结构化快照（Playwright MCP、Chrome DevTools MCP）、视觉定位（Midscene、Skyvern）解决「怎么看到元素」，验证重试（第 6 章）解决「做对了没有」；同一段流程按稳定性与语义质量选通道，可组合而非互斥。
- 工程纵深——信任边界（敏感数据、确认门、白名单）、渐进式固化（把模型调用精确花在刀刃上）、会话基建与生产化，把智能体从 demo 推进到生产。
二、四流派矩阵
浏览器智能体四流派矩阵（stars 为 2026-10-16 社区口径） ┌──────────────┬────────────────────┬────────────────────┬────────────────────┬──────────────┐ │ │ DOM 动作原语 │ 结构化快照 │ 视觉定位 │ 验证重试 │ ├──────────────┼────────────────────┼────────────────────┼────────────────────┼──────────────┤ │ 代表实现 │ browser-use │ Playwright MCP │ Midscene │ 贯穿各流派 │ │ │ Stagehand │ DevTools MCP │ Skyvern │ （第 6 章专题）│ ├──────────────┼────────────────────┼────────────────────┼────────────────────┼──────────────┤ │ 页面表示 │ DOM+元素标注编号 │ 无障碍树/调试协议 │ 截图+坐标 │ 结果侧 │ ├──────────────┼────────────────────┼────────────────────┼────────────────────┼──────────────┤ │ 引用方式 │ 编号（index） │ ref │ 坐标（易偏移） │ 断言 │ ├──────────────┼────────────────────┼────────────────────┼────────────────────┼──────────────┤ │ 成本 │ 每步一次模型调用 │ 文本快照，低 │ 图像输入，数倍 │ 按验证深度 │ ├──────────────┼────────────────────┼────────────────────┼────────────────────┼──────────────┤ │ 唯一解场景 │ 动态页面通用操作 │ 语义良好的页面 │ Canvas/图片/无语义 │ 不可逆动作后 │ ├──────────────┼────────────────────┼────────────────────┼────────────────────┼──────────────┤ │ 本书章节 │ 第 1、2、3 章 │ 第 4 章 │ 第 5 章 │ 第 6 章起 │ └──────────────┴────────────────────┴────────────────────┴────────────────────┴──────────────┘
工程口径一句话：结构化优先、指令居中、视觉兜底、验证兜一切。
三、学习路径
【前半本 · 选型与单智能体实战】 【后半本 · 验证与工程化】 第 0 章 导览 第 6 章 验证与重试 ├ 0.1 从 RPA 到浏览器智能体 第 7 章 会话与基建 └ 0.2 环境准备与第一个任务 第 8 章 反检测与合规边界 第 1 章 动作原语 第 9 章 从 Agent 到测试 ├ 1.1 三原语语义 第 10 章 多智能体网页工作流 ├ 1.2 元素定位与索引 第 11 章 生产化 └ 1.3 最小示例走查 附录 A / B / C 第 2 章 browser-use 实战（全自主路线） 第 3 章 Stagehand 实战（代码优先路线） 第 4 章 结构化快照（两个官方 MCP） 第 5 章 视觉流派（Midscene 与 Skyvern） │ │ ▼ ▼ 三种眼睛 + 两种哲学 + 四类形态 验证、基建、合规、测试化、编排、生产化
（文字流程图）装环境（0.2）──▶ 立语法（1 章）──▶ 选路线（2 或 3 章）──▶ 配编码 Agent（4 章）──▶ 补视觉兜底（5 章）──▶ 加验证（6 章）──▶ 上基建（7 章）──▶ 守合规（8 章）──▶ 进测试与编排（9、10 章）──▶ 生产化（11 章）。
四、逐章简介
第 0 章 导览。确定性脚本的两处天花板（结构脆断、语义缺失）；目标驱动与概率路径的得与失；四流派地图与生态全景；双栈环境与本地靶场；用 browser-use 跑通「打开页面提取标题」。分工声明：原理归《深入理解 AI Agent》第 9 章。
第 1 章 动作原语。act / extract / observe 的语义、输入输出与失败模式；指令到动作的四步映射；定位三层谱系（选择器、文本角色、模型选择）与编号点击机制；靶场三步走查，指令式与代码式对照。本章是全书的语法层。
第 2 章 browser-use 实战。Agent 循环解剖：感知（编号清单）、决策（思考加动作）、行动（错误回灌）、终止三型；敏感数据机制（占位符、脱敏、白名单）与人工确认门；定制四件（自定义动作、系统提示、模型选择、会话选项）与版本纪律。全自主路线的完整工程手册。
第 3 章 Stagehand 实战。代码优先的成本算术与判定树；act 指令三原则、extract 的 zod 模式、observe 的两种消费、错误三分类处理；渐进式固化四步法与 observe 缓存（含失效回退）、收益度量与不固化清单。把模型调用精确花在刀刃上的方法论。
第 4 章 结构化快照。无障碍树的构成与「比 DOM 干净、比截图便宜」的机制；Playwright MCP 的快照加 ref 工作流与编码 Agent 接入；Chrome DevTools MCP 的网络、控制台、性能视野；双 MCP 分工（功能验证对工程调试）与并用注意。
第 5 章 视觉流派。视觉定位管道与坐标换算的坑；「视觉是唯一解」的清单；视觉对结构化的数倍成本账与 SoM 桥接；Midscene 三件套双语用例与 AI 断言的口径；Skyvern 的混合定位、工作流形态、AGPL 注记；浏览器基建（Browserbase、steel-browser）路标。前半本以四流派合拢图收束。
第 6 章 验证与重试（后半本）。点了不等于点对了：验证分级（结构性对感知性）、结果等价断言、重试与降级的切换点、死循环治理的产品化。
第 7 章 会话与基建（后半本）。登录态与上下文管理、并发隔离、Browserbase 与 steel-browser 的会话供给、成本与容量。
第 8 章 反检测与合规边界（后半本）。速率礼仪、服务条款、身份呈现的讨论边界；stealth 类能力只在自有与授权站点上讨论。
第 9 章 从 Agent 到测试（后半本）。自然语言 E2E 接入测试体系、断言策略、轨迹回放与回归任务集。
第 10 章 多智能体网页工作流（后半本）。主流程与异常工单的分层编排、人机协同、子目标序列的产品化。
第 11 章 生产化（后半本）。可观测性、日志与轨迹留存、模型变更流程、固化覆盖率等体征指标。
附录 A / B / C（后半本）。术语表、工具速查、练习题。
五、按需跳读
- 只有一晚上：0.1 看地图，0.2 跑通第一个任务，1.1 立语法——之后按栈选第 2 章或第 3 章读首节。
- 给编码 Agent 配浏览器：0.2 备环境，第 4 章全读，两个 MCP 的接入配置抄走即用。
- 做测试：第 1 章，5.1 成本观，5.2 Midscene 用例；然后衔接第 9 章。
- 做运营流程自动化：第 3 章全读（固化方法论），5.3 Skyvern 对照与 AGPL 评估提醒。
- 关心合规：0.2 的靶场纪律，2.2 信任边界清单，5.3 的授权场景限定；系统讨论在第 8 章。
六、参考来源
- browser-use、Stagehand、Playwright MCP、Chrome DevTools MCP、Midscene（中文文档）、Skyvern、steel-browser、AgentQL 各自的官方文档与仓库（API 细节的最终权威）
- Browserbase 官网（会话量与客户数，官网口径）
- 《深入理解 AI Agent》第 9 章《多模态与实时交互》（Computer Use 与 GUI 自动化原理、实验 9-7）、第 4 章《工具》（工具生态：MCP 与工具选择的挑战）
- 《Strix 精读》第 4 章《工具、沙箱与集成》
- stars 与版本号：社区口径，事实基准日 2026-10-16，仅作量级参考
目录大纲
最新文档
知识宇宙
正在加载知识图谱...