5.3 指标怎么选

5.3 指标怎么选

本节摘要：MSE、RMSE、MAE、MAPE、R² 被 SOURCE 列为常用点预测指标。RMSE 与训练 MSE 同族，便于优化对齐；MAE 更好读；MAPE 在真值接近零时不稳定；R² 在非平稳序列上会骗人。区间另看覆盖率与带宽。指标必须跟决策一致，不能只报模型最好看的那一个。

上手前先明确

阅读完本节，你应当能够：

1. 说明 RMSE 相对 MAE 更惩罚大偏差
2. 指出 MAPE 在零负荷、零吞吐量上为何爆炸
3. 解释 R² 高不等于预报可用，尤其存在趋势时
4. 为区间任务补上覆盖率和平均带宽，而不是只报点指标

一、点指标是四把不同的尺子

SOURCE 给出 MSE 为平方误差均值，RMSE 为其根，MAE 为绝对误差均值，MAPE 为绝对百分比均值再乘 100%。R² 用残差平方和对比总平方和。可视化则是预测对真实、残差图、置信带。

RMSE 单位与原序列相同，平方再开方，大错权重大。调度若怕一次严重低估，RMSE 和业务痛点同向。MAE 人人能读成“平均差了多少”，对异常不那么过敏。两者一起报，能看出是“经常小错”还是“偶尔大错”。只报 RMSE 的模型可能靠消灭几个尖峰赢，日常其实更差。

MAPE 把误差除以真值。冷库温度在零附近、港口某日吞吐量为零、负荷低谷接近零，分母会把指标打飞。SOURCE 明确提醒：真值接近 0 时 MAPE 可能不稳定。对称百分比或只在真值大于阈值时计算，是补丁。不要在含零序列上把 MAPE 当主指标。

R² 接近 1 看起来像“解释了几乎全部方差”。有强趋势的序列，连“用昨天的值当今天的预测”（朴素持久）也能有很高 R²，因为它已经跟上了缓慢抬升。对照时应同时报相对持久模型、相对季节朴素模型的提升，否则 R² 是自夸。

持久基线: y_hat[t+1] = y[t]
季节朴素: y_hat[t+h] = y[t+h-周期]
深度模型至少要打过这两条，指标才有对照意义
​

图 指标选择：决策在前公式在后

二、多步与区间：平均一个数会藏坏消息

多步若只报 H 步 RMSE 的平均，可能前 4 步很好、后面漂掉，平均看起来能接受。应按 horizon 画一条误差曲线。迭代策略的曲线会抬头，直接多输出可能中间某步怪。这是策略对照，不是模型荣誉。

区间任务点指标不够。覆盖率：真实值落在带子里的比例，名义 90% 的带子实际只有 60%，说明过窄或校准差。平均带宽：带子太宽，覆盖率很好但没有决策价值（“明天负荷在 0 到无穷”）。好的区间是覆盖接近名义、带宽尽量窄。这些数字在第 6 章与分位数方法一起用。

可视化 SOURCE 列为预测对真实、残差、置信区间。图比表更能暴露“高峰全估平”。报表可以作假到只给一个 RMSE，图比较难。对照材料里至少留一张测试段叠加图。

三、跨模型族必须同一指标同一段

LSTM 报 MAE、Transformer 报 RMSE、ARIMA 报 MAPE，无法对照。锁死：同一测试段、同一套主辅指标、同一反缩放后的原单位。深度常在标准化空间训练，忘记反缩放会报出无量纲的假胜利。

⚠️ 常见坑：在标准化空间比较 RMSE，数值很小，看起来碾压统计模型；回到原单位后差距消失甚至反转。
💡 关键直觉：指标是决策的翻译。翻译错了，模型族比赛的奖杯发给了错误的选手。

公交间隔以分钟计，MAE 最可读。不要对领导报标准化空间的 0.03。港口吞吐量跨数量级，可考虑在正值上用百分比类指标，但仍要避开零日，或给零日单独计数“是否估成正”。

四、主辅指标写成不可改的页眉

实验表格页眉锁死：主指标、两个辅指标、对照基线名称、单位、是否已反缩放。任何人新加一行模型，不许只填自己爱看的数。MAPE 若因零值不稳定，页眉就不要它当主，最多当远离零的子集辅指标。R² 永远当辅，并并列持久提升、季节朴素提升。没有提升列，R² 允许自夸。

多步页眉必须有分 horizon 的列或图。至少报 h=1、h=中间、h=H，以及曲线是否抬头。抬头而你用的是迭代，先写策略问题。区间页眉必须有名义水平、实际覆盖、平均带宽。缺带宽的高覆盖是作弊式的“从负无穷到正无穷”。

跨族比较在原单位。标准化空间的 RMSE 可以内部看收敛，不许进对外表。领导材料用 MAE 分钟、标箱、兆瓦，不用“0.03”。可视化至少一张测试叠加、一张残差对时间。图上能看出高峰估平，表上的单一 RMSE 会藏。SOURCE 把可视化与公式并列，不是装饰。

指标一旦锁死，第 4 章的族排名才可引用。未锁指标的排名，本章视为无效输入。这是对照纪律，不是格式癖。

五、页眉锁死后才允许引用族排名

主指标、两辅、基线名、单位、已反缩放，新模型不许只填爱看的数。MAPE 不当含零序列的主指标。R² 永远为辅，并列持久提升与季节朴素提升。多步至少报近、中、远和曲线是否抬头。区间必须名义水平、实际覆盖、平均带宽。标准化空间 RMSE 只内部看收敛。对外用原单位。叠加图与残差图能暴露高峰估平。未锁页眉的第 4 章排名本章视为无效。指标是决策翻译，翻译错了奖杯发给错误选手。

六、朴素基线必须进表

持久和季节朴素是尺子。深度至少打过它们，指标才有对照意义。R² 会被趋势抬高，持久也能很高。MAPE 在零吞吐量、近零负荷爆炸，SOURCE 原文警告。RMSE 与 MAE 一起看，区分经常小错和偶尔大错。分 horizon 报，平均会藏后面的漂。区间覆盖接近名义且带宽尽量窄。反缩放到兆瓦、标箱、分钟再比。跨族锁同一段同一页眉。领导材料禁止标准化空间的 0.03。可视化不是装饰，高峰估平在图上比在单一 RMSE 里难藏。

问题：能不能只对外报一个最好看的数？

不能。页眉锁主辅基线单位反缩放。MAPE 不当含零主指标。R² 为辅并并列朴素提升。多步报近中远。区间报覆盖与带宽。标准化空间禁止对外。持久和季节朴素必须进表。只报 RMSE 可能靠消灭尖峰赢、日常更差。高峰估平在叠加图上显形。未锁页眉的族排名无效。指标是决策翻译。公交 MAE 分钟，港口避开零日或单独计数是否估成正。领导不看 0.03。SOURCE 把可视化与公式并列，图比单一数字难作假。

指标对照的页眉一旦锁死就不许只填好看的数。主指标跟决策，辅指标暴露尖峰或零值问题。含零序列不用百分比误差当主，来源是真值接近零会爆炸。决定系数会被趋势抬高，必须并列持久提升和季节朴素提升。多步至少报近中远三档以及曲线是否抬头。区间必须同时报名义水平、实际覆盖、平均带宽，缺带宽的高覆盖可以靠无限宽的带子作弊。对外数字在原单位，标准化空间只内部看收敛。可视化至少测试叠加和残差对时间，高峰估平在图上难藏。未锁页眉的模型族排名视为无效输入。尺子先于奖杯。领导材料用兆瓦、标箱、分钟，不用无量纲的小数。

把对外报表做成只读模板：主辅、基线、单位、反缩放、近中远、覆盖与带宽。模板栏位空着不许发布。百分比误差在含零时禁用主位。决定系数旁必须有朴素提升。图两张：叠加、残差。模板由评估包生成，禁止手工挑数。标准化空间数字只能出现在内部收敛曲线。未套模板的族排名无效。模板是决策翻译器，翻译器坏了奖杯无意义。把模板字段写进导入检查，缺字段的实验不得进入对照表。领导只看模板，不看你爱用的无量纲小数。SOURCE 提醒零值百分比不稳，模板备注里写死。高峰估平靠图，不靠单一均方根。

只读模板由评估包生成，手工改数视为作弊。字段空着不许发布。零值百分比禁用写在备注。朴素提升栏空白则决定系数无效。两张图缺失则排名无效。模板检查可以做成导入前脚本。领导只看模板。内部收敛曲线不要混进对外页。翻译器坏了就不要发奖杯。把生成模板的命令写进评估包说明，避免有人用表格软件挑行。

评估包生成只读模板，手工改数当作弊。空字段不许发布。零值百分比禁用。朴素提升空白则决定系数作废。缺图则排名作废。导入前检查字段。领导只看模板，内部收敛不要混对外。翻译器坏了不发奖杯。生成命令写进说明，避免表格软件挑行。原单位、同一段、同一页眉，三锁同时存在，模型族数字才有资格出现在对照表。

导入前字段检查失败的实验，不得进入对照表，也不得口头汇报。挑行软件改模板，视为破坏只读。原单位三锁：同一段、同一页眉、已反缩放。缺一锁则数字只准出现在探索附录。附录不得被复制进领导页。图两张与模板同一次生成，禁止用旧图配新表。

三锁检查通过后，才允许把模型族名字写进对照表第一列。未通过时第一列只能写探索。把这条当作指标节对第 4 章排名的最后一道闸。

闸未开时，第 4 章名字不准出现在对外对照表。

七、指标锁页眉之后模型族才许提名

第四章可以训练，但不许在对外页上提名，直到主指标、单位、反缩放、朴素基线四项写进页眉。页眉未锁时，均方根与平均绝对误差的此消彼长会被讲成故事。页眉锁死后，故事必须服从数字：高峰估平若在叠加图上可见，即使均方根降了也不许宣称更适合备用决策。公交到站用分钟偏差，港口避开零日，变电站用兆瓦均方根加高峰时段绝对误差，三套页眉不要混抄。

核心回顾

• RMSE 重罚大错，MAE 报日常偏差，两者一起看
• MAPE 在真值近零时不稳定，SOURCE 原文警告
• R² 会被趋势抬高，必须对照持久和季节朴素
• 多步按 horizon 报，平均会藏后面的漂
• 区间看覆盖率与带宽，只报点 RMSE 不够
• 反缩放到原单位再比，跨族锁同一段同一指标

下一节把超参搜索关在验证段里：测试集不是选层数的地方。