3.1 Web工具包：会议里的外联部

3.1 Web 工具包：会议里的外联部

本节摘要：Web 工具包是会议的外联部：驱动真实浏览器抵达目标网页，完成导航、点击、填表、提取与截屏。本节讲它的能力清单、与搜索情报员的分工接力、一次浏览器操作的完整足迹，以及动态页面与反爬两类硬骨头的啃法。

本节是专家席位的第一席。信息调研类任务里，外联部出场率最高，也最容易背锅——很多"框架不行"的抱怨，实际是外联部被派了不该它接的单（找页面该情报员先上）或没给它说清操作目标。理解外联部的第一课就是分清它与 3.4 情报员的分工界面。

一、分工界面：情报员发现，外联部抵达

两个席位管两段路。情报员（搜索工具包）回答"去哪找"：给出目标候选与网址线索；外联部（Web 工具包）回答"怎么拿"：真实打开页面，操作元素，取回内容。接力协议很朴素——情报员的产出里必须包含可直接抵达的线索（网址或可点击的搜索结果标题），外联部的工单里必须写明抵达后的操作目标（取哪块内容、判断什么状态）。

from camel.toolkits import WebToolkit, SearchToolkit

# 两个席位一并挂载，执行侧模型会按工单性质自动分派
# （示意：真实挂载见第4章环境搭建）

def draft_work_order(query: str) -> dict:
    """根据议题阶段起草工单：先情报还是先外联。"""
    if "http" in query or "官网" in query:
        return {"席位": "外联部", "工单": f"抵达 {query}，提取定价区块文本"}
    return {"席位": "情报员", "工单": f"检索关键词：{query}，返回前五条线索含网址"}

# 输出：
# draft_work_order("竞品B 订阅定价 官网")
#   -> {'席位': '外联部', '工单': '抵达 竞品B 订阅定价 官网，提取定价区块文本'}
# draft_work_order("最适合小型团队的项目管理工具")
#   -> {'席位': '情报员', '工单': '检索关键词：最适合小型团队的项目管理工具，返回前五条线索含网址'}
​

二、一次浏览器操作的完整足迹

外联部干活是留痕的：每一步操作（打开地址、点击元素、提取文本）都会写进执行日志。看一段典型足迹（贯穿案例里抵达竞品定价页的过程）：

[足迹01] 打开网址 https://compb.example.com/pricing   状态：成功
[足迹02] 等待页面就绪（超时上限 30 秒）                状态：成功
[足迹03] 定位元素 文本含"切换地区"                    状态：成功
[足迹04] 点击该元素                                   状态：成功
[足迹05] 在弹层中点击"中国大陆"                       状态：成功
[足迹06] 等待价格区块渲染                             状态：成功
[足迹07] 提取文本 定价区块全文约 1200 字               状态：成功
[足迹08] 截屏存档 pricing_compB.png                   状态：成功
​

足迹的价值有两层。调试层：任务失败时按足迹定位卡在哪一步，比盯着大段对话日志高效得多。审计层：截屏存档（足迹 08）给产出提供了证据链——纪要里"竞品 B 团队版 499 元/月"这句结论，可以回溯到具体页面的具体时刻，中途页面改价也说不清不白。

三、工程实践要点：动态页面与反爬

动态页面：等什么，比等多久重要

现代网页大量内容靠脚本渲染，页面"打开"了不代表"内容到了"。外联部的等待策略分两种，选错是超时误报的头号来源：固定等待（睡几秒，简单但在慢网络下不稳）与条件等待（等到某元素出现或某文本渲染出来才继续）。条件等待多写一句话，稳定一个量级。

def wait_strategy(page_type: str) -> dict:
    """按页面类型选择等待策略。"""
    if page_type == "价格页":
        return {"条件": "等待含'元/月'的元素出现", "超时秒": 30,
                "兜底": "超时后截屏上报，由主持人决定改派情报员"}
    if page_type == "登录后页面":
        return {"条件": "等待用户头像元素出现", "超时秒": 45,
                "兜底": "检查登录凭据是否注入"}
    return {"条件": "等待页面主内容区渲染完成", "超时秒": 20, "兜底": "重试一次"}

# 输出：
# wait_strategy("价格页")
#   -> {'条件': "等待含'元/月'的元素出现", '超时秒': 30, '兜底': '超时后截屏上报，由主持人决定改派情报员'}
​

反爬：体面地退场，别硬凿

目标站点有访问限制时（验证码、地区限制、频次封禁），外联部要遵守三条纪律：如实上报受阻原因；给主持人递改派线索（比如"建议从第三方比价页获取"）；不留死循环重试。硬凿反爬不仅效率低，还有合规风险——本书立场明确：协作框架是用来提高效率的，不是用来突破访问控制的。

⚠️ 给外联部下工单时写清"允许的操作范围"（只看不买、只读不提交）。浏览器自动化工具能力很强，没有边界约束的工单等于把公司账号交给陌生人。

案例展开：一场接力与一次改派

背景：贯穿案例的 T2 议题——抓取竞品 B 价格页。操作：首轮工单直接派外联部，足迹卡在"切换地区"弹层（页面按访问地展示不同价格），如实上报；主持人判断属指令缺陷，补充地区切换指令后重派，足迹走完八步，成功取回三档价格。中途另一处变数：竞品 C 价格页触发频次限制，外联部两次受阻，主持人按上报线索改派情报员，从第三方比价站点取到价格快照，并标注"来源可信度：中"。结果：两个议题都以可用证据收场。解读：外联部此役的功劳不在"什么页面都打得开"，而在"打不开时说得清为什么、递得出下一步"——这是它区别于普通爬虫脚本的地方。

变式：批量抓取场景（比如一次性核对二十个竞品页）别用单会话串行干——把工单拆批，每批独立会话，批次间加间隔；这属于第 5 章"从单场会议到常设委员会"的范围，此处先埋个点。

本节要点回顾

• 分工界面：情报员回答去哪找，外联部回答怎么拿，工单要按性质选席；
• 足迹留痕：每步操作可回溯，截屏是证据链的关键一环；
• 等待策略：动态页面用条件等待，写明等什么再等多久；
• 反爬纪律：如实上报、递改派线索、不硬凿、不越权；
• 下一席是秘书处：拿到材料之后，先把它变成可分析的文本。