本章要回答的三个问题:①同一个作业,跑在 local、Standalone、YARN、Kubernetes 上,Task 的派发路径差在哪?②内存与核数参数一改,Executor 里的缓存和溢写行为怎么变?③作业卡住或失败时,从哪些信号入手定位最快?
前五章的视角一直在"作业内部":DAG 怎么切、Shuffle 怎么搬、消息怎么发。可真实事故很少死在代码逻辑上,多半死在边界上:Executor 被 YARN 杀掉重算、缓存反复逐出引发雪崩、一个倾斜分区让 199 个 Task 排队等 1 个。这些问题的答案不在算子里,在部署模式、资源配置和监控面里。写代码的人不巡检引擎,等于开车不看仪表盘。
本章把视角从 DAG 内部拉到集群层面,看同一份代码在不同资源形态下的不同命运。
| 节 | 回答哪个问题 | 关键产出 |
|---|---|---|
| 6.1 集群部署模式 | 作业跑在哪、谁管资源 | 四种模式 Task 派发路径对比图 |
| 6.2 配置与资源调优 | 参数怎么影响执行行为 | 内存布局计算式 + 调参决策表 |
| 6.3 监控日志与故障巡检 | 出事从哪查起 | 分层排障流程与高频故障对照 |
| 6.4 Spark 安全 | 数据与访问怎么护 | 认证加密的最小配置集 |
本章把引擎安顿进了集群。第 7 章看它如何与周边系统握手——数据从 Hadoop 与 NoSQL 进出、与消息队列对接,以及 Spark Connect 带来的客户端-服务端解耦如何改变部署拓扑本身。
巡检提示:这张图的关键分叉在"部署模式"一站——后面所有资源行为、日志位置、排障入口都由这个分叉决定。第 6.1 节先把四个分支走一遍。
章内阅读顺序不必死板:赶着排障的读者可以从 6.3 的分层路线图直接进,遇到资源类根因再回 6.2 算内存账;要做新集群选型的读者则从 6.1 的四模式对比入手。四节合起来构成一个闭环——模式定边界、参数定行为、监控定症状、安全定围栏,任何一节单独看都容易把局部经验当成通用结论,这是运维知识最常见的陷阱。