第7章 集群运维与故障处置

第 7 章 · 集群运维与故障处置

章节摘要：前六章的视角是"建设者"，这一章切换到"值守者"。集群怎么部署才有弹性、指标怎么拆才看得见病灶、备份怎么做才敢在深夜按下恢复键、以及最要紧的——警报响起时手先伸向哪个开关。本章的所有动作都来自演练过的现场，目标是把"出事时的第一反应"从临场发挥变成肌肉记忆。

学习目标

完成本章后，你应当能够：

1. 给出一个中型集群的部署配比方案（FE 台数、BE 规格、磁盘形态）并说出理由；
2. 描述一次在线扩容从节点加入到流量均衡的完整过程与观察点；
3. 拆解查询、延迟、Compaction、内存四类核心指标的联动关系并设定告警阈值；
4. 用快照机制设计一套 RPO 与 RTO 可量化的备份恢复预案；
5. 按分诊决策树处置节点掉线、版本堆积、磁盘告急、查询雪崩四类高频事故；
6. 组织一次灾备演练并产出可复查的演练报告。

核心概念速览

运维知识的组织方式不是参数字典，而是一条"状态感知 → 归因分诊 → 干预动作 → 复盘沉淀"的闭环。部署决定了系统的先天体质，监控让体质状态可感知，应急处置是感知异常后的标准化动作，备份恢复则为一切处置失败的情况兜底——四节内容在这条闭环上各占一站：

金句：运维水平的差距不在故障发生时，而在故障发生前——预案写过几轮、演练跑过几遍、阈值校过几次。

子章节导航

• 7.1 集群部署与扩缩容：FE 稳态与 BE 弹性的配比逻辑、在线扩缩容的数据再平衡过程、物理与逻辑两级资源隔离。
• 7.2 监控指标拆解与告警：指标从哪来、四象限核心指标怎么读、指标到日志的排障链路、告警分级与动态基线。
• 7.3 备份恢复与灾备演练：快照的版本语义、恢复演练的完整记录、跨集群准多活的搭建思路。
• 7.4 在线问题应急处置手册：四类高频事故的分诊决策树与标准动作清单。

子章节之间的逻辑关系

四节构成一条从静态到动态、从常态到应激的谱系：部署是静态底座，监控是常态感知，应急是异常响应，备份是极限兜底。学习时可以两两成组——7.1 与 7.2 回答"怎么让系统少出事"，7.3 与 7.4 回答"出事后怎么不慌"：

少出事                不慌
7.1 部署 → 7.2 监控 ⇄ 7.4 应急 → 7.3 备份
           感知喂给处置   处置失败交给兜底
​

监控指标是全章的枢纽：应急分诊的每一条判据都来自 7.2 的指标拆解，备份演练的每一项验收也都要靠指标确认。若时间只够精读两节，选 7.2 与 7.4。

前置知识与后续延伸

前置要求：第 2 章的 FE/BE 职责分工与副本概念是本章的词汇底座，第 4 章的导入版本机制是理解"版本堆积"类故障的钥匙。学完本章可进入第 8 章——生态对接引入的每一类外部组件（消息队列、调度系统）都会给运维清单增加新的检查项；反向地，8.3 的成本优化实践里"冷热分层、压缩调优"等手段也需要本章的监控指标来验证收益。值守同学建议把 7.4 的手册打印成卡片贴在工位，其余三节作为季度复训材料。

本章有一个贯穿的度量自觉：每个运维主张都该带数字。部署配比给出的是台数与规格，监控阈值给出的是经验线，恢复演练验收的是实测时长。评审运维方案时把"大概""尽量""视情况"换成数字，讨论质量立刻不同——数字可以被反驳，感觉只能被记忆。这也是 7.2 反复强调动态基线的原因：运维的语言是时序曲线，不是形容词。

角色化读法同样适用：接手存量集群的同学按"7.2 建面板、7.4 立手册"起步最快；从零建集群的同学先吃 7.1，把部署的账算对，后面三节的压力天然减半。无论哪条路径，7.3 的演练制度都建议在第一个季度内落地第一轮——演练开始得越早，事故夜的学费越低。