10.2 运维监控与故障排除

10.2 运维监控与故障排除：仪表盘与解剖台

本节摘要：监控不是装仪表，是接话筒——引擎一直在用数百个指标陈述自己的状态，运维体系负责把这些陈述接成因果链。本节先给指标分三层定采集节奏，挑出最值得上仪表盘的几组联动指标，再进排错半场：按物理、逻辑、语义三层契约定位故障，配一套命令行工具的实际用法与一套诊断框架。

仪表盘上先看五个数

指标数百个，全上仪表盘等于没有仪表盘。生产环境真正需要时刻盯着的是五个数，每个都对应前文讲过的一本账。内存表积压数：冻结表排队几个，对应写路径闸门一。零层文件数：对应读路径咽喉与闸门二。待压缩字节：对应消化端水位与闸门三。缓存命中率：对应读账单的折扣率。写放大实测比：压缩加刷盘字节除以业务字节，对应搬运的性价比。五个数按第 5.4 节的顺序串起来，就是一条从告警到根因的短路径——这五个数异常与否，基本决定了要不要继续往下深挖。

指标按语义分三类，采集节奏各有讲究。瞬时状态类（此刻有几个压缩在跑、是否有刷盘排队）像交通灯，秒级轮询做实时告警；累积计量类（累计写入字节、累计停顿时长）像里程表，分钟级采集做趋势分析；估算推导类（活跃数据量估算、键数估计）像雷达回波，计算有成本，只在诊断会话按需取。把估算类指标放进秒级轮询，是新手最常见的自伤方式——采集本身把系统拖慢了。

图10-2 生产仪表盘：五个核心数与三组联动

采集与告警的纪律

采集侧三条纪律。分类定频，上面已经说过。只上报计数器：命中率、均值这类派生值不要在采集端算好再上报——两个计数器之间的数学关系要留给查询时现算，否则跨采集窗口的比值全是错的。采集进程与实例故障隔离：采集走只读路径，采集器自己崩溃绝不能牵连实例——监控拖垮被监控对象，是运维事故里的经典自杀。

告警侧的核心建议是从阈值升级到模式。单一阈值（命中率低于八成就报）在负载波动下噪声极高；更有价值的是三种模式：斜率异常——指标变化速率超历史分位的若干倍，往往预示洪峰将至；相关性异常——两个本该同向的指标背离（冻结表在涨而刷盘不排队，说明刷盘线程卡死）；缓慢累积型——单次无害、累积有害的指标（累计停顿时长、最老快照年龄）设累计窗口红线。第 7.2 节的长快照事故，用「最老快照年龄」这一条告警就能提前一天预警。

排错：三层契约定位法

故障进场，先分层再动手。引擎的正确性建立在三层契约上，故障就是某一层契约被打破。

物理层契约：盘上的字节就是当初写入的字节。校验失败、文件截断、读写出错都在这一层——先看校验和报告与介质健康数据，别急着怀疑引擎。逻辑层契约：文件内部结构自洽、账本与文件清单一致。库打不开、清单解析失败、指针文件悬空属于这层——用文件解析工具核对结构与清单，确认坏在哪个文件再谈修复。语义层契约：重放结果与预期一致、可见性规则不被违反。「读到了不该读的数据」「恢复后状态对不上」属于这层——把日志转储出来逐条核对操作序列，用序列号推演每一步该看到什么。

三层对应的工具链一句话概括：物理层看校验报告，逻辑层用文件解析与库管理工具核对，语义层用日志转储逐条对账。库管理工具值得专门点名，它是排错的瑞士军刀：转储日志内容、浏览活文件清单、按键区间做手动压缩、直接查改单个键——第 5 章的调优与本章的排错都用得上它。

修复阶段的立场也要立正：引擎提供的修复手段本质是「抢救最大可信子集」——跳过损坏文件、重建账本、能捞多少捞多少。它明确不保证恢复到故障前的完整快照语义。所以修复流程的正规写法是：先保护现场拷贝一份，再跑抢救，抢救完立即用校验工具全库核验，最后从备份补齐缺口。修复是止损动作，不是备份的替代品——真正兜底的永远是第 9 章那套检查点加异地归档。

一次慢查询的三层定位实录

框架要用例子养。某天点查分位从两毫秒爬到十一毫秒，按三层走一遍。物理层先排：介质健康数据无异常，校验计数器安静——字节层没问题。逻辑层再排：文件清单完好，零层文件数正常，账本干净——结构与账本也没问题。到语义层换思路：不是引擎坏了，是「读的东西变了」——按第 6 章的账单思路查命中率：九成四跌到七成八；再查冻结表积压：零；再查零层：平静。命中率跌而零层平静，指向第三种联动——大扫描冲缓存。顺着访问日志找到新上线的离线对账任务，直扫线上库。给对账任务加读取选项关缓存填充、迁移到只读副本，两天后分位回到二点三毫秒。

这次定位的真正主角是排错顺序：物理与逻辑两层的快速证伪各花了五分钟，它们让语义层的假设集合收窄到只剩访问形态。排错的效率不取决于查得多快，取决于证伪得多快——三层契约框架给的就是这个证伪顺序。

修复工具的两句提醒

库管理工具顺手，但有两句提醒值千金。第一句：工具直连数据，写操作不走业务代码——用它改键修数据前，先确认业务语义允不允许「绕过应用层」；修完的账要与业务对账，否则数据修好了、业务状态歪了。第二句：手动压缩与修复类操作都是重 IO 动作，在业务高峰执行等于自己制造停顿——第 5.4 节的教训在这里同样适用，先看仪表盘再动手，永远排在操作手册的第一行。

把排错经验资产化

排错能力的差距不在工具，在经验能否沉淀。资产化分三步。第一步，工单模板化：现象、五核心数快照、三层排查记录、根因、修复、耗时，六个字段固定，逼着每次排错留下完整现场。第二步，模式入库：同型故障的根因与处方归类存档，新工单先比对历史模式——多数故障是旧病复发，模式库命中能省掉大半排查时间。第三步，监控反哺：每次复盘产出的「早知道就好了」指标，落成新的告警项。三步做完，团队的排错速度不再取决于某位老兵在不在，而取决于模式库的厚度——这才是运维体系真正的复利。

本节要点

• 仪表盘五个核心数：内存表积压、零层文件数、待压缩字节、缓存命中率、写放大比，按序串成短路径；
• 指标三类三节奏：瞬时秒级、累积分钟级、估算按需，把估算放进轮询是自伤；
• 告警从阈值升级到模式：斜率、相关性、缓慢累积三种模式各设防，派生值在查询端现算；
• 排错先分层：物理层看校验、逻辑层核结构与账本、语义层日志逐条对账，定位后再选工具；
• 修复是止损不是兜底：保护现场、抢救子集、全库核验、备份补齐，四步缺一不可。