5.1.2.1 Data-aware Scheduling 概念

文档摘要

5.1.2.1 Data-aware Scheduling 概念 5.1.2.1 Data-aware Scheduling 概念：当调度器开始“读取数据的指纹”——一个Kubernetes+Spark场景下基于局部性感知的Pod亲和性动态重调度实战你有没有遇到过这样的深夜告警？ Spark作业在K8s集群上稳定运行了三天，第四天凌晨两点，某关键ETL任务的Stage 7突然卡住——Shuffle Read耗时从平均12秒飙升至4分37秒，Executor日志里反复刷出；Prometheus里看，节点间网络带宽峰值没超限，磁盘IO等待却在某个worker节点上拉出一道刺眼的尖峰；