7.5 报告与度量

7.5 报告与度量

本节摘要：报告回答"这一次跑得怎么样"，度量回答"我们的自动化健康吗、敢不敢拿它做决策"。单次报告的核心是失败可读——每条红屏带结论、证据与下一步；健康度量的核心是趋势——通过率、重试率、执行时长、缺陷拦截四条曲线管住信任。本节给出报告的信息结构与度量指标的口径定义，为全册的可信回归体系收口。

报告的第一使命：让人不再追问细节

回归报告的读者分两种，诉求完全不同。发布决策者要的是结论与风险：能不能发、哪里红了、红的影响面多大。用例维护者要的是定位线索：哪条红了、为什么、证据在哪。一份好报告同时服务两者，信息结构上分三层：顶层结论（通过率、失败分类汇总、门禁判定）、失败清单（每条失败的定性、证据链接、建议动作）、明细与趋势（逐用例结果、历史曲线入口）。

失败清单是报告的灵魂，它的每一条目应当是 7.1 与 7.2 成果的汇合：失败签名给定性（环境、数据、时序还是缺陷），取证包给现场，处置建议给下一步。对照着看，"断言错误：预期5实际3"与"缺陷类失败：订单角标少计一行，截图与页面快照见取证包，建议提单"——两种报告的可信度天差地别。生成端没有魔法：报告插件读取 7.2 的取证归档与 7.1 的定性标记，机器自动组装。

图7-5 回归报告信息漏斗

四条健康度曲线：把信任变成数字

单次报告之外，自动化需要一组跨时间观察的健康度指标。口径比数量重要，四个指标足够，每个都要写清定义与目标线。

通过率：判定通过的用例占执行用例的比例，分母不含跳过。目标线因层而异——发布层应接近全绿，日构建层长期低于九成五就要立项治理。重试率：重试后通过的用例占比，7.1 红线二要求的留痕计数在这里兑现——它是时序技术债的仪表盘，只许降不许涨，连续三周走高就触发治理专项。执行时长：各层耗时趋势，对照 7.4 的预算；缓慢爬升通常意味着用例膨胀或环境劣化，急升则要查执行环境。缺陷拦截数：回归在发布前拦下的真实缺陷计数——自动化价值的终极证据，向管理层汇报时它比任何覆盖率数字都有说服力。

四条曲线放进同一张看板，每周晨会过目一次。看板的价值不在数字本身，而在趋势引发的行动：通过率下滑触发失败分类复盘，重试率走高触发等待治理，时长超标触发预算优化，拦截数下降则要反思用例与业务变化的脱节。没有行动的看板只是墙纸。

防止度量走向表演

度量有个著名的副作用：被考核的指标会被优化，哪怕优化方式背离初衷。通过率考核会催生"跳过难用例""失败用例悄悄禁用"的造假冲动；执行时长考核会催生砍掉有价值用例的短视。两条防线：指标成组使用——通过率必须与缺陷拦截数同看，时长必须与覆盖同看，孤立数字不可考核；指标对事不对人——健康度曲线服务于套件治理决策，不与个人绩效挂钩，一旦挂钩，数据就会被"管理"而不是"改善"。

看板落地的三个月与四个问题

一套度量看板从上线到被信任，大致要走三个月，期间会遭遇四个典型问题，提前备好答案能让推行顺滑得多。

问题一：通过率的口径吵翻了。 跳过的算不算分母？重试后通过算通过还是不通过？上线第一周就会被问倒。答案要在上线前写死并公示：跳过不入分母；重试后通过计入通过、同时计入重试率——口径的权威性来自"从未改过"，一旦为了好看改口径，看板就死了。

问题二：某周曲线跳水，谁来看？ 看板要配值守：周内单日通过率跌破目标线，自动通知当值维护者；连续三天恶化，升级为治理专项。没有值守的看板，曲线跳水三天后才会被路过的人发现。

问题三：拦截数不好看，要不要继续报？ 恰恰要。拦截数的波动是真实的——某阶段业务稳定，拦截少是正常现象。它与通过率成组出现，恰恰防止了"为了数字好看而放松断言"的表演行为。看板的公信力，一半来自敢报不好看的数字。

问题四：新成员看不懂曲线含义。 给每条指标配一句口径说明与一句"这条线恶化时该做什么"的行动指引，新人自助可查。度量体系的可持续性，取决于它能不能脱离创始成员的脑子独立运转。

三个月后验收看板的标准很朴素：发布会上有没有人主动引用它？当"这次能不能发"的讨论以看板数据为共同起点时，7.5 的使命就完成了——报告与度量最终买到的，是决策讨论的共同语言。

一份周报的模板

把度量落地成固定周报，模板只需五行。一行结论：本周回归执行多少轮、发布层通过率几何、拦截缺陷几枚。一行趋势：四条健康曲线的周环比，异动的标注原因。一行治理：本周治理动作与效果（如"清除固定延时二十三处，重试率由百分之六降至百分之三"）。一行风险：需要决策或资源的事项（如"日构建时长逼近预算，建议下月扩容网格槽位"）。一行下期：下周重点。

五行的价值在于强制"度量必须配行动"：写不出治理行，说明上周在看板上空转；写不出风险行，说明没有人真正在读曲线。周报模板也是看板的驯兽鞭——它让 7.5 开头那句"没有行动的看板只是墙纸"变成每周都被检查的现实。

度量落地的两个追问

问：指标目标线定多少合适？ 目标线不是拍出来的，是从基线推出来的：先让数据裸跑一个月得到基线，再定"比基线好两成"的季度目标。凭空定的目标线要么轻松达标（失去意义），要么长期够不着（打击士气）——基线法让目标既有张力又可信。

问：失败分类的口径由谁维护？ 由 7.1 的定性流程自然产生：晨会分类结果就是口径的数据源。若分类口径需要调整（新增一类"第三方依赖类"），走团队评审并同步更新历史数据的映射规则——口径变更要留痕，否则趋势曲线会在调整点上出现假跳水。

收工清单

• 报告三层：顶层结论给决策、失败清单给维护、明细趋势给深挖；失败条目是定性与取证的汇合。
• 四指标口径：通过率、重试率、执行时长、缺陷拦截数，每个写清定义与目标线。
• 看板为行动服务：趋势触发治理动作，没有行动的看板是墙纸。
• 防表演两道防线：指标成组、对事不对人。
• 全册闭环：至此"跑得起来、跑得快、结果可信"三段征程全部打通——下一章看这套体系的未来形态。

第 7 章收口，可信回归体系建成。最后一章把镜头拉远：工具链全景、版本演进与持续优化——这套体系往哪里生长。