8.4 性能监控与故障排查

8.4 性能监控与故障排查

监控体系是把引擎机制转化为运维能力的翻译层。本节给出一套以引擎指标为核心的监控口径与排错流程：哪些指标必须收、按什么粒度聚合、告警怎么定阈值、故障怎么按漏斗定位。它对应全书各章的机制知识，建议与 8.5 的参数清单一起作为团队手册长期维护。

指标体系：从引擎统计到告警面板

引擎在连接、轨道、编码、传输各级都暴露统计，接入侧要做的第一件事是选出因果链完整的最小集合，而不是把几百个统计全收。按因果链自上而下收四级：体验级（端到端延迟、卡顿率、出图帧率）；传输级（往返时间、丢包率、可用带宽估计）；策略级（目标码率、实际发送码率、冗余比例、分辨率档位）；资源级（CPU 占用、编码耗时、解码耗时）。每级回答一类问题：体验级回答"用户痛不痛"，传输级回答"线路怎么样"，策略级回答"引擎怎么应对的"，资源级回答"机器扛不扛得住"。

聚合粒度按用途分层：告警用一分钟粒度的聚合，趋势分析用分钟到小时，个案复盘用会话粒度全量。粒度选错的典型代价是告警失灵——把秒级抖动聚到小时级，告警永远安静；把小时级趋势当告警源，狼来了喊个不停。

图：从投诉到根因的排错漏斗

排错流程：漏斗式收窄假设

漏斗的每一层都有明确的判据与出口。第一层用体验级指标分群：单个用户还是成片用户、特定时段还是全天、特定区域还是全网——分群完成，一大半可能性已经排除。第二层看传输级指标定向：丢包与带宽估计同步恶化是线路问题；传输指标正常而体验差，转向策略或资源。第三层看策略级指标验因果：线路变差时码率该降而未降，是策略失灵；降了仍卡，往资源层走。第四层用资源级指标定责：编码解码耗时超标、CPU 饱和，问题在设备。四层走完仍无结论的，取个案的事件记录做时间轴对齐——第四章教的对齐方法在这里是终极武器。

告警阈值的设定原则也要交代：阈值挂在体验级指标上，而不是传输级或策略级上。丢包率天然波动，挂告警会频繁误报；卡顿率是用户真实痛感，超过基线才值得叫人。传输级与策略级指标用于排错时的下钻，不用于叫人——这个分工能省掉大量告警疲劳。

事件记录的自动化采集

本章的指标体系跑在实时统计上，而事件记录的价值在离线复盘，两者要一起收。工程化的做法是把事件记录纳入采样策略：全量会话收轻量指标，按比例抽样收完整事件文件，异常会话触发式收全量事件。触发条件用体验级指标驱动——卡顿率越限、断连重连、建连超时，命中即把该会话的事件文件标记上传。这样存储成本可控，而每一个"疑难杂症"都自带黑匣子，与 8.4 的漏斗流程无缝衔接。

采样比例的确定也有讲究：静态比例浪费存储或漏样本，动态比例更合理——按会话量与异常率自适应，日常抽百分之一量级，异常高峰期自动加密。事件文件本身有体量，长会议按小时计可能相当可观，接入侧应配置只保留关键时间窗（异常前后各几十秒）的环形策略，这与第一章 1.4 介绍的环形记录机制直接对应。

告警阈值的参考推导

阈值不是抄来的，但推导有固定套路，以两个核心指标示范。卡顿率告警：取安静期基线分布，把告警线设在基线高分位之外（如基线九成九分位加安全余量），并要求持续时间条件（连续多个周期越限才触发）——单点越限是噪音，持续越限才是事件。建连成功率告警：按网络类型与区域分维度各立基线，总成功率告警只做兜底；分维度告警才是主力，因为"某区域塌了"在总量里被稀释，等总量告警响时事故已经扩散。这套"分维度基线加持续条件"的套路可以推广到几乎所有体验级指标，比背具体数字可靠得多。

指标采集还有一条工程红线必须写明：采集本身不得反噬体验。统计的读取与上报要批量、要避峰、要有本地聚合，秒级全量上报既耗电又占带宽，监控系统把自己变成故障源是运维史上最讽刺的事故类别。

看板设计的分层建议

监控看板不是一张图，而是按受众分层的一组图。值班看板面向快速反应：体验级指标的当前值与告警状态，一眼判断"要不要叫人"，粒度到分钟、全局到区域。研发看板面向定位：传输级与策略级的趋势曲线，支持按会话特征下钻，是漏斗流程的工作台。复盘看板面向模式发现：跨会话聚合的分布图与分位数曲线，8.4 案例那种"三周复盘"的工作面。三层看板共用同一套指标口径，只是聚合粒度与呈现方式不同——口径不统一是看板体系最常见也最致命的设计错误，两层数字对不上，所有结论都会被质疑。

看板与报告的节奏建议

例行节奏上给三条建议：分钟级数据保留数天供值班回看；小时级聚合保留数月供趋势与对照；会话粒度的原始事件按采样保留并设过期，异常会话的事件文件随工单归档。节奏化的数据生命周期既控制存储成本，也逼着团队想清楚每层数据的用途——没有用途的数据层迟早变成无人维护的负担。

案例：三周数据复盘揪出基站切换

背景。某城市郊区用户的课堂产品投诉集中：每周数次、每次持续一到两分钟的黑屏重连。单次工单排查均无结论——复现时指标一切正常，过后数据毫无残留。

操作。改变策略：不追单次，拉全量。把该区域三个月的会话数据按"异常会话"标记聚合，发现投诉时段与两类特征强相关：投诉发生前平均三十秒内，传输级指标出现带宽估计断崖叠加往返时间阶跃；事件记录里候选线路发生切换；用户运营商字段集中在同一家移动网络。三者拼起来指向蜂窝网络的基站切换：切换期间线路瞬断，引擎走线路切换与恢复流程，恢复耗时与信号质量决定黑屏时长。

结果。产品侧的缓解措施依次落地：把切换期的恢复耗时纳入监控单独成指标；接入层在检测到蜂窝网络切换特征时给出弱网提示并暂停高码率重连尝试；与运营商侧确认热点覆盖后，对该区域课堂给出有线网络建议。投诉率下降约七成，剩余长尾属于物理覆盖问题。

解读。这个案例的方法论价值在单次排查的失效与全量复盘的有效：瞬态问题在单次工单的时间窗里几乎不可见，只有把异常模式跨会话聚合，特征才会浮现。它也示范了指标体系的纵向用法——四层指标在单次排错里自上而下收窄，在复盘里则横切聚合找共性。两种用法共享同一套口径，这就是指标因果链完整的回报。

变式。同类聚合复盘还揪出过另一类模式：每周固定时段、固定区域的成片卡顿，最后定位到园区网络的定时备份任务占满出口。模式不同、方法相同——把异常当数据而不是当事故，聚合到特征自现。

要点回顾

本节要点：指标按体验、传输、策略、资源四级收，因果链完整优先于大而全；粒度按告警、趋势、复盘分层；排错走四层漏斗，每层只留匹配的假设；告警挂体验级、下钻用传输与策略级；瞬态问题靠跨会话聚合复盘。下一节解决最后一公里：参数怎么跟业务场景匹配。