附录 B 工具速查
附录 B 工具速查
章节摘要：全书出场工具按「网页侧与文档侧」两张表整理，字段覆盖用途、许可证、接入方式与本书章节。stars 与版本为 2026-10 时点的社区口径，会随时间漂移，选型前以官方仓库与文档为准；许可证是商用集成的先决条件，AGPL 系条款务必过法务。
按章节查工具（反向索引）
| 章节 | 该章出场工具 |
|---|---|
| 第 6 章 | Scrapy（框架本体）、模型抽取所用的 LLM SDK |
| 第 7 章 | surya（识别引擎）、PyMuPDF（演示用基础库） |
| 第 8 章 | MinerU（两种后端） |
| 第 9 章 | docling、marker（对照实验组） |
| 第 10~11 章 | 工具无关：清洗分块与评测运维用标准库实现 |
使用说明
- 「接入方式」指本书演示过的典型用法，不是该工具的全部能力。
- 标注「以官方文档为准」的条目，安装命令与参数可能随版本变化。
网页抓取侧工具
| 工具 | 用途 | 许可证 | 接入方式（本书章节） |
|---|---|---|---|
| Scrapy | 重爬取任务底座：调度、管道、中间件 | BSD-3-Clause | Python 框架，pip 安装后建工程（第 6 章） |
| crawl4ai | 快速 LLM-ready 抓取，内建渲染 | 开源（以官方仓库为准） | Python 库，抓取即得 Markdown（第 4 章） |
| Firecrawl | 托管式抓取与转换服务 | 商业服务，含免费额度（以官网为准） | API 调用，不写代码路线（第 5 章） |
| Jina Reader | 网页转 Markdown 的轻量读取服务 | 开源引擎加托管服务（以官网为准） | URL 前缀式 API，一行调用（第 2 章） |
文档解析侧工具
| 工具 | 用途 | 许可证 | 接入方式（本书章节） |
|---|---|---|---|
| MinerU | 复杂 PDF 与 Office 转 Markdown 与 JSON | AGPL 系附加条款（NOASSERTION，商用先过法务） | 命令行加 Python 接口（第 8 章） |
| docling | 四格式统一解析：PDF、DOCX、PPTX、XLSX | MIT | Python 库，DocumentConverter 统一入口（第 9 章） |
| marker | 高精度 PDF 转 Markdown | Apache-2.0（代码） | 命令行工具（第 9 章对照实验） |
| surya | OCR、版面、阅读顺序、表格识别底层引擎 | Apache-2.0 | Python 库，检测加识别两段式调用（第 7 章） |
| unstructured | 文档 ETL 老牌方案 | 开源（以官方仓库为准） | Python 库分区处理；重心已转商业平台，本书作生态史了解、未设实战章节 |
社区口径注记
stars 数据（2026-10 时点，仅作热度参照，不构成选型依据）：
| 工具 | stars（约） | 出处仓库 |
|---|---|---|
| MinerU | 81.8k | opendatalab/MinerU |
| docling | 69k | docling-project/docling |
| Scrapy | 64.8k | scrapy/scrapy |
| marker | 40.5k | datalab-to/marker |
| surya | 21.5k | datalab-to/surya |
| unstructured | 15.6k | Unstructured-IO/unstructured |
活跃度：MinerU 周更级（2026-10 时点 v4.0.12）；docling 日更级（2026-10 时点 v2.139.0）。发版快是双刃剑：能力爬坡快，接口也偶有变动，工程上锁版本加看更新日志。Scrapy 走稳定维护节奏，大版本兼容性预期最好。
许可证速判：MIT 与 Apache-2.0 代码许可最宽松，闭源集成自由；BSD-3-Clause 同属宽松档；AGPL 系条款对网络服务场景有开源义务传导性，附加条款需逐条读原文；商业服务按服务条款走。此速判仅供定向，正式结论以 LICENSE 原文与法务意见为准。
版本口径时间线：本书写作时点为 2026-10-16，stars 与版本号均为当日社区口径。阅读本书时数据必然漂移，使用前到官方仓库核对最新口径；本书正文的方法、流程与决策框架不随这些数字漂移。
许可证专节：商用前必读
| 许可证 | 代表工具 | 商用集成 | 注意点 |
|---|---|---|---|
| MIT | docling | 自由 | 保留版权声明即可 |
| Apache-2.0（代码） | marker、surya | 自由 | 附 NOTICE 文件义务 |
| BSD-3-Clause | Scrapy | 自由 | 三条款声明义务 |
| AGPL 系附加条款 | MinerU | 受限 | NOASSERTION 标注，网络服务传导风险，附加条款逐条读 |
| 商业服务 | Firecrawl | 按价目 | 服务条款与数据出境口径另查 |
双引擎结构：许可证宽松的引擎做合规底座，能力突出但许可证复杂的引擎放隔离批处理环境跑特定场景，是否构成合规解法取决于部署形态，以法务意见为准（第 9.1 节）。把许可证列进选型决策表的一等公民，与准确率同权重——技术上最优、法务上不可行的方案等于不可行（第 8.3 节）。
选型决策索引
| 需求 | 优先看 | 备选与备注 |
|---|---|---|
| 快速拿 LLM-ready 网页数据 | crawl4ai、Firecrawl | 规模化后迁 Scrapy 管线（第 6.2 节） |
| 十万页级长期采集 | Scrapy | 渲染需求配合无头方案（第 2 章） |
| 复杂中文 PDF（公式表格密集） | MinerU | 注意 AGPL 系条款（第 8 章） |
| Office 多格式混合语料 | docling | MIT 许可证合规友好（第 9 章） |
| 高精度 PDF 单文档 | marker | 底层为 surya（第 9 章） |
| 扫描件 OCR 底层能力 | surya 或成品工具内建 | 成品工具通常已封装（第 7 章） |
| 闭源或云服务集成 | docling、marker 路线 | 许可证确定性优先（第 9.1 节） |
| 文档 ETL 生态了解 | unstructured | 重心已转商业平台，选型前看活跃度 |
最后一条使用建议：速查表帮你把候选缩到两三个，最终决定永远留给第 9.2 节的对照实验——用自己的样张、自己的指标、自己的机器跑出来的数字，比任何表格（包括本表）都可信。
合规提醒：本节内容仅用于合法授权的数据采集场景；请遵守目标站点的服务条款与 robots 协议，涉及个人信息时遵循相关法律法规。