第6章 部署运维与巡检


第6章 部署运维与巡检

本章要回答的三个问题:①同一个作业,跑在 local、Standalone、YARN、Kubernetes 上,Task 的派发路径差在哪?②内存与核数参数一改,Executor 里的缓存和溢写行为怎么变?③作业卡住或失败时,从哪些信号入手定位最快?

为什么会有这一章

前五章的视角一直在"作业内部":DAG 怎么切、Shuffle 怎么搬、消息怎么发。可真实事故很少死在代码逻辑上,多半死在边界上:Executor 被 YARN 杀掉重算、缓存反复逐出引发雪崩、一个倾斜分区让 199 个 Task 排队等 1 个。这些问题的答案不在算子里,在部署模式、资源配置和监控面里。写代码的人不巡检引擎,等于开车不看仪表盘。

本章把视角从 DAG 内部拉到集群层面,看同一份代码在不同资源形态下的不同命运。

读完能解决什么

  • 说出四种部署模式下 Driver 与 Executor 的落位差异及适用场景
  • 按作业类型(内存型、Shuffle 型、迭代型)推一组起始资源配置并解释依据
  • 拿到一次失败作业,用 Spark UI 与日志在十分钟内圈定故障层
  • 为含敏感数据的集群勾出最基本的认证与加密配置清单

各节怎么分工

节 回答哪个问题 关键产出
6.1 集群部署模式 作业跑在哪、谁管资源 四种模式 Task 派发路径对比图
6.2 配置与资源调优 参数怎么影响执行行为 内存布局计算式 + 调参决策表
6.3 监控日志与故障巡检 出事从哪查起 分层排障流程与高频故障对照
6.4 Spark 安全 数据与访问怎么护 认证加密的最小配置集

本章可考核知识点清单

  • 能画出 client 与 cluster 提交模式下 Driver 进程位置的区别并说明对网络的要求
  • 能计算给定 Executor 总内存下执行内存、存储内存、用户内存的份额
  • 能解释动态资源分配的上调与回收触发条件
  • 能从 Spark UI 的 Stage 页识别倾斜分区与 Shuffle 读放大
  • 能列举至少三类"Executor lost"的常见根因与对应证据
  • 能说出 Kerberos、TLS、ACL 各自护住集群的哪一层

先决条件

  • 第 1 章的 Driver/Executor/Stage 分工是硬前置,本章所有排障都从"先定责再查因"开始
  • 第 3 章的微批作业特性有助于理解流作业的专属运维差异
  • 最好有过一次提交作业到任何集群的经历,local 模式也算

往下走到哪

本章把引擎安顿进了集群。第 7 章看它如何与周边系统握手——数据从 Hadoop 与 NoSQL 进出、与消息队列对接,以及 Spark Connect 带来的客户端-服务端解耦如何改变部署拓扑本身。

巡检提示:这张图的关键分叉在"部署模式"一站——后面所有资源行为、日志位置、排障入口都由这个分叉决定。第 6.1 节先把四个分支走一遍。

章内阅读顺序不必死板:赶着排障的读者可以从 6.3 的分层路线图直接进,遇到资源类根因再回 6.2 算内存账;要做新集群选型的读者则从 6.1 的四模式对比入手。四节合起来构成一个闭环——模式定边界、参数定行为、监控定症状、安全定围栏,任何一节单独看都容易把局部经验当成通用结论,这是运维知识最常见的陷阱。

作者与出处
原作者:灏天文库
来源:平台策划编纂
整理人: 灏天文库整理
由灏天文库平台收录,内容或由平台用户上传,仅供学习交流
发布者: 作者: 灏天文库 转发
评论区 (0)
U