3.2.1.2 数据倾斜预防

文档摘要

3.2.1.2 数据倾斜预防 3.2.1.2 数据倾斜预防：当“用户ID”撞上“超级明星”，我们不是加机器，而是重写哈希函数凌晨两点十七分，告警钉钉弹窗第7次亮起——Flink作业的任务背压飙升，的 CPU 持续 98%，GC 日志里满屏。运维同事甩来一张截图：下游 Kafka topic 的分区 0 的写入吞吐是其他 63 个分区的 11.3 倍；而上游 HBase 表的 RegionServer 正在疯狂 compaction，MemStore 占用率 99.6%，WAL 写延迟突破 2.4 秒。这不是资源不足。这是数据倾斜——那个被所有人默认信任、写进无数和的分区键，正在 silently 杀死我们的实时链路。