第5章 大型调度中心：高级主题与实践

第 5 章 · 大型调度中心：高级主题与实践

本章要回答的三个问题：当任务从单机脚本长成每天数万页的持续服务，架构要怎么改——多机怎么分工、吞吐怎么提上去又把负载压下来？调度怎么从"人写规则"进化到"系统自适应"？值班表上的人靠什么看住这一切，以及一个完整项目从头到尾长什么样？

为什么会有这一章

前四章的调度室是一间车间：一台机器、一个进程、几张任务单。任务量上来之后，车间的天花板陆续现形——单机浏览器实例的内存上限、夜间任务挤进白天高峰的合规风险、站点改版后整夜空转的静默失败。把车间升格为调度中心的改造有清晰的路线：先分布式（多机分摊采集与存储）、再性能优化（吞吐与资源利用的两头拉扯）、然后智能调度（让系统自己调参）、最后监控值班（让人从操作员退居监工）。这四步正好是本章前四节，第五节用一个完整项目把它们串成一条线。

升格四步有先后依赖：没监控的分布式是盲飞，没优化的分布式是烧钱。

升格的时机也有判断刻度，不是"感觉慢了"就上分布式。三个信号满足其二再动手：单机日均有效产出连续一周低于任务单需求的七成；内存水位在高峰期反复越过八成，浏览器实例被迫频繁回收；礼貌频控下的理论排期已经超过交付窗口。只命中其一的，先做 5.2 的单机优化——多数"需要分布式"的痛，调好并发与缓存后在单机上就能解决，而分布式引入的机器与运维成本远比想象中高。

读完能解决什么

本章交付的是"服务化"的能力。分布式一节后，你能设计主控加采集加存储的分层架构，把任务分片到多机并处理失败接管；性能一节后，你能用并发控制、缓存分级、浏览器会话复用把单机吞吐提上去，同时守住礼貌频控；智能调度一节后，你能落地自适应频率调整与基于反馈的优先级重排；监控一节后，你的看板能覆盖成功率、损耗率、指纹变化三类信号，告警有分级有值班响应；复盘一节把全流程放进一个真实项目，从任务单到交付的每一步决策都有对照版本。

本章知识点清单

• 主控、采集节点、存储层三角色的职责划分与通信要点
• 任务分片策略：按域名分组对礼貌频控的意义，失败接管的最小实现
• 单机性能四杠杆：并发度、缓存、会话复用、等待参数调优
• 自适应频率：按响应信号动态调整抓取节奏的状态机思路
• 看板三信号：成功率与延迟、各层损耗率、内容指纹漂移
• 告警分级与值班响应的 SOP 化
• 项目复盘的结构：任务单、架构、决策点、事故、量化结果

各节怎么分工

先决条件

• 完成过第 2 章的采集实践与第 3 章的入库实践（有真实的损耗与失败数据可谈）
• 对消息队列、容器化有名词级了解即可，本章即用即讲
• 理解 1.5 节频控纪律与 2.4 节反爬信号——本章多处直接引用

往下走到哪

调度中心立起来之后，最后一章走出机房看生态：工具地图怎么读、社区资源怎么跟、这门手艺往哪走。工程能力的尽头是选型视野，第 6 章补上它。