1.3.1.2 ETL 与数据管道

文档摘要

1.3.1.2 ETL 与数据管道 1.3.1.2 ETL 与数据管道：当“增量拉取”撞上“上游删库跑路”——一个被低估的 CDC 检查点漂移故障与可验证幂等重放方案凌晨两点十七分，告警钉钉弹窗第7次亮起：“ 连续3小时延迟 > 45min，lastprocessedts 停滞在 ”。运维同事甩来一句：“上游说没动表结构，也没发版，你查查吧。” 我喝了一口冷透的美式，没点开 Grafana，先打开了 Kafka Consumer Group 的 offset 查看页——果然，的消费组 lag 已飙到 210 万条。但真正让我脊背一凉的，是下游 Iceberg 表里的停在了 6 月 12 日下午；