第6章 回程与远行：管道、分布式与部署
文档摘要
第6章 · 回程与远行：管道、分布式与部署 本章要回答的三个问题：解析回调 yield 出的 Item，在变成数据库里的一行之前经历了什么？单机爬虫怎么长成多机协同，又怎么把它部署成无人值守的定时任务？框架之外还有哪些轮子与约定，让成熟工程少走弯路？ 为什么会有这一章 旅程的最后一程，往往被初学者当作"存储问题"草草带过——抓下来存进去不就完了？实际恰恰相反：回程决定数据质量，远行决定工程生命。Item 从回调里出来时是"原始货物"：字段缺失、格式混乱、重复掺杂。管道层是唯一一个能对全部数据统一施策的位置，清洗、校验、去重、落库都在这里分层完成——这是第 2 章埋下的伏笔（Item 是契约），本章兑现。 远行部分回答"工程怎么活下去"：单机跑一次与持续跑半年是两种工程。断点续抓（3.
第6章 · 回程与远行：管道、分布式与部署
本章要回答的三个问题：解析回调 yield 出的 Item，在变成数据库里的一行之前经历了什么？单机爬虫怎么长成多机协同，又怎么把它部署成无人值守的定时任务？框架之外还有哪些轮子与约定，让成熟工程少走弯路？
为什么会有这一章
旅程的最后一程，往往被初学者当作"存储问题"草草带过——抓下来存进去不就完了？实际恰恰相反：回程决定数据质量，远行决定工程生命。Item 从回调里出来时是"原始货物"：字段缺失、格式混乱、重复掺杂。管道层是唯一一个能对全部数据统一施策的位置，清洗、校验、去重、落库都在这里分层完成——这是第 2 章埋下的伏笔（Item 是契约），本章兑现。
远行部分回答"工程怎么活下去"：单机跑一次与持续跑半年是两种工程。断点续抓（3.1 节的磁盘队列）、分布式去重（外部指纹库）、定时调度、运行监控，每一样都在把"能跑的脚本"变成"可靠的系统"。本章的部署节给出从零到定时任务的最短路径；分布式节讲清什么时候才真的需要多机——很多所谓的规模问题，其实是单机参数没调好。
生态一节收拢框架周边：扩展机制、常用中间件与插件、与其他组件的集成方式，以及一张"遇事先找轮子"的地图。这让你在标准能力之外知道去哪找增量，也为继续深入指了方向。
读完能解决什么
- 设计分层管道：清洗、校验、去重、落库各就各位，顺序符合处理逻辑；
- 把 Item 落到文件、SQLite 或 MySQL，说清各存储的选型依据与坑位；
- 判断单机瓶颈的真实来源，需要时用队列加指纹共享搭起最小分布式；
- 把爬虫部署成远端定时任务，配上日志轮转与失败告警；
- 说出扩展机制与常用第三方件的位置，遇事先查生态再造轮子。
各节怎么分工
| 节 | 回答哪个问题 | 关键产出 |
|---|---|---|
| 6.1 管道分层 | 回程货怎么洗 | 分层管道模式与顺序设计 |
| 6.2 持久化 | 洗完存哪去 | 三类存储的落地与选型 |
| 6.3 分布式 | 何时多机、怎么协同 | 最小分布式架构 |
| 6.4 部署 | 怎么无人值守 | 定时任务与监控基线 |
| 6.5 生态与最佳实践 | 轮子在哪、惯例是什么 | 扩展机制与避坑清单 |
前三节沿回程主线递进，后两节是"从工程到系统"的收束。若时间紧张，6.1 与 6.4 是必须精读的两节——数据质量与可持续运行是交付的底线。
本章知识点清单
- 能默写管道的执行顺序规则（数字小先跑）与 open_spider、close_spider 的触发时机；
- 能设计去重管道的主键选择，说出 Item 级去重与请求级去重（3.1 节）的分工；
- 能实现 MySQL 批量落库管道，解释批量与事务对吞吐的影响；
- 能说出分布式三要素：共享队列、共享指纹、任务拆分，并对应到具体组件；
- 能配置断点续抓与日志轮转，列出无人值守的最少监控项；
- 能用扩展机制实现自定义统计，并说出扩展与中间件、信号的分工边界。
先决条件
- 第 2 章 Items 模型已定义，管道清单在 settings 中挂载过；
- 3.1 节的队列选型与指纹机制——分布式节的全部前提；
- 一台可远程访问的服务器（部署节实操用）。
往下走到哪
本章是全册终点，也是真实工程起点。读完回望第 1 章那张双程全景图：从 Spider 车间出发的车票，此刻已经能多机并发、定时往返、入库留痕。若要继续深挖，三条路——异步引擎原理、大规模调度平台、站点对抗进阶——线索都散落在各章的延伸提示里。