4.2.1 实时计算EMR：Spark/Flink全托管，支持Iceberg/Hudi湖仓一...

文档摘要

4.2.1 实时计算EMR：Spark/Flink全托管，支持Iceberg/Hudi湖仓一体架构当Flink写Iceberg遇上小文件风暴：一次在EMR上用动态分区合并策略拯救实时作业的实战手记凌晨两点十七分，监控告警钉钉群弹出第17条红色消息：“icebergprod.odsuserevent表的manifest list size突破200MB，compaction延迟超45分钟”。运维同事发来一句无奈的截图——Flink作业的checkpoint间隔已从30秒拉长到2分18秒，背压箭头在Flink Web UI里红得刺眼，像一道不肯愈合的伤口。这不是演习。