浏览器智能体实战 · 第 1 章 动作原语


浏览器智能体实战 · 第 1 章 动作原语

章节摘要:本章是全书的方法论地基。剥掉各框架的外壳,浏览器智能体对网页的一切操作都降解为三个动词:act(执行,把意图变成页面动作)、extract(抽取,把页面变成结构化数据)、observe(观察,只看不动,产出候选动作清单)。1.1 节讲三原语语义——为什么偏偏是这三个词、自然语言指令如何一步步映射成页面动作、三原语覆盖不了什么。1.2 节下探到 DOM 流派的元素定位:选择器、文本与角色匹配、元素标注与编号点击(browser-use 式),以及定位失败的三种典型与对策。1.3 节回到靶场做完整走查:观察、执行、抽取三步各留中间产物,Stagehand 指令式与 Playwright 代码式两版对照。三原语之上加循环是第 2 章,代码优先地用三原语是第 3 章。

学习目标

  • 用 act、extract、observe 三个动词复述任意一个网页自动化任务。
  • 说出自然语言指令映射为页面动作的四个步骤及各步产物。
  • 分清选择器、文本角色匹配、模型选择三种定位手段的适用面。
  • 解释元素标注与编号点击的机制,以及它为什么是 DOM 流派主流。
  • 在本地测试页上独立完成一次三原语走查并解读中间产物。

核心概念速览

三原语环:网页智能体的公共语法 ┌────────── observe(观察) ──────────┐ │ 产出候选动作清单,只看不动 │ ▼ │ 页面状态 ──▶ act(执行)──▶ 页面变化 ──▶ 验证(第 6 章) 意图变动作 │ ▼ extract(抽取) 页面变结构化数据 ​

一句话金句:网页自动化的一切复杂度,最终都坍缩为「看一眼、动一下、取一物」。

子章节导航

  • 第 1.1 节《三原语语义》:为什么是三个动词、act / extract / observe 的输入输出与失败模式、三原语的不完备清单。
  • 第 1.2 节《元素定位与索引》:定位手段三层、可交互元素发现、元素标注与编号点击、定位失败对策。
  • 第 1.3 节《最小示例走查》:靶场任务、三步各自的代码与中间产物、指令式与代码式对照。

按序读:1.1 立语义,1.2 下探到定位机制,1.3 回到靶场合流验证。

子章节之间的逻辑关系

┌───────────────┐ 语义落到机制 ┌───────────────┐ 机制回到实践 ┌───────────────┐ │ 1.1 三原语语义 │ ──────────────▶ │ 1.2 元素定位 │ ──────────────▶ │ 1.3 走查 │ │ act/extract/ │ │ 选择器→文本角色 │ │ 观察→执行→抽取 │ │ observe │ │ →编号点击 │ │ 两版对照 │ └───────┬───────┘ └───────┬───────┘ └───────┬───────┘ │ 产物:公共语法 │ 产物:定位手段谱系 │ 产物:可复跑脚本 └────────────────────────────────┴───────────────┬───────────────┘ ▼ 第 2 章(三原语加循环) / 第 3 章(三原语代码优先) ​

前置知识与后续延伸

  • 前置:第 0.2 节的双栈环境与本地测试页靶场;第 0.1 节的四流派地图(本章定位在 DOM 动作原语流派)。
  • 延伸阅读:《深入理解 AI Agent》第 9 章「Computer Use:GUI 自动化 Agent」一节——动作空间设计的原理视角,与本章 1.1 的三原语互为表里。
  • 后续:第 2 章把三原语交给 Agent 循环(browser-use),第 3 章把三原语交给代码优先的 SDK(Stagehand),第 4 章换一种页面表示(无障碍树)重新看三原语。

合规声明:本节内容仅用于你有权访问的站点与授权自动化场景;请遵守目标站点的服务条款,自动化访问的速率与方式应可被站点方接受。

作者与出处
原作者:灏天文库
整理人: 灏天文库整理
本站整理收录,版权归原作者/开源协议所有;欢迎通过原文链接访问源仓库。
发布者: 作者: 灏天文库 转发
评论区 (0)
U