2.2.2.2 KubernetesExecutor 动态扩容


文档摘要

2.2.2.2 KubernetesExecutor 动态扩容 当 KubernetesExecutor 的 Pod 伸缩像呼吸一样自然:一个被忽略的 HorizontalPodAutoscaler 配置盲区与它的救赎 你有没有见过这样的场景? Airflow 集群在凌晨三点突然涌入 200 个 DAG Run,每个都触发一个 PythonOperator;KubernetesExecutor 迅速为它们拉起 200 个 worker Pod——然后,三分钟内,187 个 Pod 因 被反复重建;Prometheus 告警炸开: ; 列表里滚动着上百行 和 ;而你的 日志里,只有一行安静得令人窒息的记录: 它没报错。它甚至没抱怨。它只是……卡住了。 这不是资源不足——节点有空闲 CPU;


发布者: 作者: 转发
评论区 (0)
U