8.3.2.1 局部聚合优化

文档摘要

8.3.2.1 局部聚合优化 8.3.2.1 局部聚合优化：当在千万级倾斜键上突然卡住——一次真实生产事故中，我们用前置 + 降维击穿数据倾斜的全过程复盘凌晨两点十七分，告警钉钉弹窗炸开：【Flink SQL 任务】消费延迟突破 4.7 小时，背压持续满载，checkpoint 超时失败率 92%。这不是第一次。过去三周，这个看似“标准”的日活聚合作业已触发 11 次紧急回滚。它不报错——它只是沉默地、顽固地、像被沥青裹住轮子一样慢下来。运维同事发来一张图：Subtask 3 的输入速率是 12k records/sec，而 Subtask 7 是 0.8 records/sec；Flink Web UI 上，那个红色的曲线，在 Subtask 7 处塌陷成一条贴着横轴的灰线。