7.2.2 现实世界评估标准

文档摘要

7.2.2 现实世界评估标准 7.2.2 现实世界评估标准：当AUC跌了0.03，而线上转化率却涨了12%——我们到底在评估什么？凌晨两点十七分，监控告警弹窗第三次亮起。不是CPU爆表，不是OOM崩溃，而是——推荐系统的离线AUC指标从0.842骤降至0.811。SRE同事顺手截图发到大群：“模型又崩了？”算法同学秒回：“不可能，AB测试CTR+1.8%，新策略灰度两周稳如泰山。”产品总监沉默五分钟后甩来一张截图：过去48小时，首页“猜你喜欢”区块的加购转化率（Add-to-Cart Rate）提升12.3%，支付成功率同步上升9.7%。 ——AUC在跌，业务在涨。 ——离线在骂你，线上在夸你。