AI 网页与文档数据抽取实战

教程总纲 · AI 网页与文档数据抽取实战

讲什么、怎么学、怎么跳读，一页说清。本书按管线组织：两条数据源线（网页与文档），一条抽取管线，全程可运行。

一、这本书讲什么

一句话：教你把任意网页与文档变成 LLM-ready 数据——干净文本、结构与元数据齐备，能直接进 RAG、知识库与 Agent 记忆。

展开成三句：

1. 一条管线——发现 → 获取 → 渲染 → 抽取 → 清洗分块 → 结构化输出 → 评测，七步环环相扣，每步都有工具落点。
2. 两条线——网页线（URL、HTTP、HTML、JS）与文档线（PDF、Office、扫描件）形态不同，但后半程完全共享：分块、结构化输出与评测是同一套方法。
3. 一组工具决策——crawl4ai、Firecrawl、Jina Reader、Scrapy、MinerU、docling 各管一段；本书给三向对照与决策树，原则是「能 CSS 不 LLM、能静态不渲染、能自托管再评估 API」。

二、全书地图

【网页线 01~06】              【一条共享管线】              【文档线 07~09】
第 1 章 抓取策略与合规                                      第 7 章 文档解析原理
  发现：sitemap/robots/链接地图   发现 → 获取 → 渲染          （版面/OCR/表格公式）
第 2 章 获取与渲染               → 抽取 → 清洗分块            第 8 章 MinerU 实战
  静态获取 / 无头渲染             → 结构化输出 → 评测          第 9 章 docling 与对照实验
第 3 章 crawl4ai 实战 I                                        （两条线横评）
第 4 章 crawl4ai 实战 II                 ▲
  CSS / LLM schema / jsonify             │ 后半程共享
第 5 章 Firecrawl                        │
第 6 章 Scrapy 与传统基座       【收尾线 10~11】
                                第 10 章 清洗分块与 RAG 就绪
                                第 11 章 评测与生产化
​

（文字流程图）网页或文档进入 ──▶ 发现（第 1 章 / 文件来源）──▶ 获取与渲染（第 2 章 / 第 78 章解析）──▶ 抽取（第 35 章 / 第 8~9 章）──▶ 清洗分块（第 10 章）──▶ 结构化输出 ──▶ 评测（第 11 章）──▶ 进入《OpenViking 源码精读》第 06 章那样的入库管线。

三、逐章简介

• 第 0 章 导览：两条线一条管线的定义；LLM-ready 三要素；与《OpenViking 源码精读》第 06 章的分工；环境准备与首跑。
• 第 1 章 抓取策略与合规：先画地图再动手——sitemap 与 robots 解析、站内链接发现；增量爬取（内容指纹、ETag 与 Last-Modified）与礼貌抓取（并发、延迟、UA 标识、重访策略）；合规边界与自查清单（引《SEO_GEO 实战指南》其技术架构优化部分的爬虫预算语境）。
• 第 2 章 获取与渲染：静态获取（httpx、编码、状态码、重试超时）；无头渲染（何时必须上浏览器、Playwright 等待策略、渲染成本是静态的数倍）；代理与缓存（合规前提、原始响应落盘、幂等重跑、断点续爬）。
• 第 3 章 crawl4ai 实战 I：安装与首爬（AsyncWebCrawler、BrowserConfig 与 CrawlerRunConfig）；Markdown 化与分块（raw 与 fit、内置分块策略、RAG 粒度）；爬取深度控制（BFS 深度爬取、包含排除规则、会话复用、监控钩子）。
• 第 4 章 crawl4ai 实战 II：CSS 抽取（JsonCssExtractionStrategy 的 schema 设计，零 LLM 成本）；LLM schema 抽取（pydantic、指令、成本与准确率权衡）；jsonify 与混合策略（API 风格 JSON、策略决策树）。
• 第 5 章 Firecrawl：API 全家桶（scrape、crawl、search、map、extract 五能力与分工对照）；自托管（形态、资源、AGPL-3.0 注记）；选型对照（crawl4ai 对 Firecrawl 对 Jina Reader 三向表）。
• 第 6 章 Scrapy 与传统基座：大规模采集的工程化基座——调度、管道、中间件，以及把它接到 LLM 数据管线上的改造点。
• 第 7 章 文档解析原理：文档线的「获取与渲染」等价物——版面分析、OCR 与识别、表格与公式的还原。
• 第 8 章 MinerU 实战：以中文 PDF 为主要对象的解析实战。
• 第 9 章 docling 与对照实验：第二条文档线工具，与 MinerU 横评，给出按文档类型选工具的结论。
• 第 10 章 清洗分块与 RAG 就绪：两条线汇合——清洗规则、分块粒度、元数据与溯源，产出到 RAG 就绪的数据集。
• 第 11 章 评测与生产化：抽取质量评测（数据集构建引《Evals 实战：LLM 评测工程》第 03 章《数据集工程》）、监控、成本与运维。
• 附录：A 术语表、B 工具速查、C 练习题。

四、章节目录

第 0 章 导览
　0.1 两条线一条管线
　0.2 环境准备与跑通第一条管线

第 1 章 抓取策略与合规
　1.1 站点发现与地图
　1.2 增量与限速
　1.3 合规边界

第 2 章 获取与渲染
　2.1 静态获取
　2.2 无头渲染
　2.3 代理与缓存

第 3 章 crawl4ai 实战 I
　3.1 安装与首爬
　3.2 Markdown 化与分块
　3.3 爬取深度控制

第 4 章 crawl4ai 实战 II
　4.1 CSS 抽取策略
　4.2 LLM schema 抽取
　4.3 jsonify 与混合策略

第 5 章 Firecrawl
　5.1 API 全家桶
　5.2 自托管
　5.3 选型对照

第 6 章 Scrapy 与传统基座
第 7 章 文档解析原理
第 8 章 MinerU 实战
第 9 章 docling 与对照实验
第 10 章 清洗分块与 RAG 就绪
第 11 章 评测与生产化

附录
　附录 A 术语表
　附录 B 工具速查
　附录 C 练习题

五、按需跳读

• 只想快速拿到 Markdown：0.1 → 0.2 → 3.1，一小时跑通首爬。
• 要建站点级采集：0~3 章顺读，第 4 章按需选 4.1（多数场景够用）。
• 要接 LLM 做结构化抽取：4.1 → 4.2 → 4.3，配 0.1 的三要素做质量判断。
• 要选型 / 做采购决策：0.1 → 5.1 → 5.2 → 5.3，许可证与成本注记必读。
• 只有 PDF 与 Office 文档：0.1 → 第 7 章 → 第 89 章 → 第 1011 章。
• 关心合规红线：1.3 独立可读，配 1.1 的 robots 解析。

六、参考来源

• crawl4ai 官方文档（docs.crawl4ai.com）与 GitHub 仓库 unclecode/crawl4ai（v0.9.5，2026-10-14 发布，社区口径）
• Firecrawl 官方文档与 GitHub 仓库 firecrawl/firecrawl（约 191.9k stars、AGPL-3.0，社区口径）
• Jina Reader 官方仓库 jina-ai/reader（约 12.2k stars、Apache-2.0、推送停留在 2026-05-22，社区口径）
• Playwright、httpx、Scrapy、MinerU、docling 各自官方文档
• 《OpenViking 源码精读》第 06 章《资源入库多模态解析》；《SEO_GEO 实战指南》其技术架构优化部分；《Evals 实战：LLM 评测工程》第 03 章《数据集工程》
• 以上 stars、版本与日期为 2026-10 社区口径量级参考，接口细节以官方文档为准。