第4章 下行隧道：下载器与中间件
文档摘要
第4章 · 下行隧道：下载器与中间件 本章要回答的三个问题：请求发出去之后、响应回来之前，框架给了你哪些合法的插手点？目标站的限流、封禁、登录校验，各该在哪一层化解？并发、限速与重试这些"框架托管"的行为，参数怎么调才算既快又稳？ 为什么会有这一章 前两章你写的代码都活在"安全区"：Spider 只管出票与拆包，管道只管收货。可采集工作的真正摩擦发生在隧道里——对端是一个不愿被批量访问的站点，它会查你的身份、数你的频率、拒绝你的指纹。手写脚本时代，这些问题靠在请求循环里撒补丁解决；Scrapy 把它们集中安置在下行隧道的关卡上：去程改写请求（换身份、换线路、带上通行证），回程检验响应（认出封禁、触发退避、决定重发）。 本章同时接管全框架对抗最激烈的两个话题：访问节奏与失败处理。3.
第4章 · 下行隧道：下载器与中间件
本章要回答的三个问题：请求发出去之后、响应回来之前，框架给了你哪些合法的插手点？目标站的限流、封禁、登录校验，各该在哪一层化解？并发、限速与重试这些"框架托管"的行为，参数怎么调才算既快又稳？
为什么会有这一章
前两章你写的代码都活在"安全区"：Spider 只管出票与拆包，管道只管收货。可采集工作的真正摩擦发生在隧道里——对端是一个不愿被批量访问的站点，它会查你的身份、数你的频率、拒绝你的指纹。手写脚本时代，这些问题靠在请求循环里撒补丁解决；Scrapy 把它们集中安置在下行隧道的关卡上：去程改写请求（换身份、换线路、带上通行证），回程检验响应（认出封禁、触发退避、决定重发）。
本章同时接管全框架对抗最激烈的两个话题：访问节奏与失败处理。3.2 节你见过并发与延迟的配置，那是"静态限速"；4.3 节的自动节流是"动态感知"——根据响应快慢实时调节奏。4.4 节的失败处理则把重试、超时、异常三类事件收拢成一套策略，顺带把 2.2 节"失败没有回程"的伏笔补全：errback 收到的到底是什么、失败统计怎么读。
按双程日记的说法，本章是车票离站后、到站前的全部旅程。这段路你看不见页面内容，却能决定每一张票的生死。
读完能解决什么
- 写出符合返回值约定的自定义中间件，并解释去程与回程的执行顺序差异；
- 用 UA 轮换与代理接入搭建最基础的身份管理，理解 Cookie 会话的开关与落点；
- 调出 AutoThrottle 自动节流，让爬速随目标站的实时反馈自适应；
- 定制重试策略与超时，读懂失败统计，用 errback 完成失败件的登记与补偿。
各节怎么分工
| 节 | 回答哪个问题 | 关键产出 |
|---|---|---|
| 4.1 中间件关卡 | 插手点在哪、顺序怎么算 | 返回值约定与装配数字的实操 |
| 4.2 身份与会话 | 身份与登录态怎么管 | UA 轮换、代理接入、Cookie 策略 |
| 4.3 并发节流 | 节奏怎么自适应 | 静态限速加 AutoThrottle 的组合 |
| 4.4 失败处理 | 票失联了怎么办 | 重试、超时、errback 三件套 |
四节是"关卡、装备、节奏、兜底"的关系。4.1 是基础设施，后三节都是它的应用；跳读请先读 4.1。
本章知识点清单
- 能默写 process_request、process_response 的三种与两种返回值，并各举一个使用场景；
- 能说出装配数字在去程与回程的不同含义，定位"配置被覆盖"类问题的原因；
- 能解释 Cookie 会话的开启条件，说出无登录需求时关闭它的收益；
- 能组合静态延迟与自动节流参数，描述目标站反馈变慢时爬速的调整路径；
- 能配置重试码清单与指数退避，区分"可重试失败"与"永久失败"两类事件；
- 能在 errback 里拿到失败原因并完成结构化登记。
先决条件
- 第 3 章的配置层级与并发参数已经理解；
- 2.2 节 Request 的 meta 行李舱概念——本章多处通过 meta 与关卡通信；
- 基本的 HTTP 状态码语义：4xx 是我的问题还是对方的问题。
往下走到哪
隧道走完，票到站了。第 5 章处理到站后的疑难件：要登录的页面、浏览器才能渲染的页面、以及面对一个陌生站点怎么制定采集策略。本章的中间件装备（尤其 4.2 的会话管理）会直接被 5.1 的登录流程征用；而 4.4 的失败统计，是 5.3 站点评估记分卡的重要数据源。