第1章 执行引擎初印象


第1章 执行引擎初印象

本章要回答的三个问题:①同样是分布式计算,Spark 为什么敢把中间结果放进内存?②RDD 到底是数据结构还是执行计划?③一行算子代码从敲下到 Executor 执行,中间经历了哪几站?

为什么会有这一章

MapReduce 时代排障,工程师最熟悉的画面是:作业跑完六小时,磁盘上堆着几百 GB 中间文件,下一步计算又把这批文件读回来。磁盘来回搬数据不是计算,是搬运。迭代计算一个机器学习任务要反复扫同一份数据几十轮,每一轮都付一次磁盘税,代价被放大几十倍。Spark 的答案不是"换个更快的磁盘",而是重造执行引擎的记账方式——用血统(lineage)记录数据怎么算出来的,而不是把数据本身反复落盘。要理解这个取舍,就得进引擎内部看。

读完能解决什么

  • 说清楚内存计算为什么快、代价是什么、什么时候必须溢写磁盘
  • 把 RDD 读成"带血统的分区清单",而不是一个集合类
  • 画出从 spark 提交到 Task 执行的全链路,标注每一站的责任人
  • 看懂一次 Shuffle 在引擎内部引发的连锁动作

各节怎么分工

节 回答哪个问题 关键产出
1.1 从 MapReduce 到 Spark 为什么要造这台引擎 两代引擎的中间结果放置对比图
1.2 RDD 弹性分布式数据集 引擎记账的单位是什么 血统与 Stage 划分原理 + 分区实验代码
1.3 Driver 与 Executor 运行架构 一次提交经过哪几站 运行时组件协作时序 + 角色职责表

先决条件

  • 会一点 Python 或 Scala,能读懂 lambda 与链式调用
  • 知道"进程、线程、序列化"这几个词的日常含义
  • 不要求先学过 Hadoop,1.1 节会补齐必要背景

本章可考核知识点清单

  • 能说出 MapReduce 中间结果落盘与 Spark 血统重算在容错代价上的根本差异
  • 能解释 RDD 的不可变性与惰性求值如何共同支撑 DAG 优化
  • 能区分转换算子与行动算子,并指出宽依赖在 Stage 划分中的边界作用
  • 能手工推演一段三步管道在 DAGScheduler 眼里的 Stage 与 Task 数目
  • 能列出 Executor 上一个 Task 生命周期里经过的内存区域
  • 能复述血统过长的风险场景与缓存介入的正确时机

往下走到哪

本章结束时你手里有了一张引擎内部地图。第 2 章把这张地图套到 Spark SQL 上——你会发现 Catalyst 优化器做的事,本质是在 DAG 生成之前先替你改写血统。

巡检提示:这张图里唯一"懂你的代码"的角色是 Driver,Executor 只见过序列化后的任务字节码。后面每遇到一个奇怪行为,先判断它发生在 Driver 侧还是 Executor 侧,定位就快一半。

学完本章自查一遍:能否对着 1.2 节的分区实验代码,不看答案说出 Stage 数与 Task 数;能否向同事解释清楚"血统重算"和"缓存"分别在什么条件下更划算,各自的失败形态又是什么;看到一次 Shuffle 报错时能否立刻指出它发生在哪个角色的辖区。这几个问题答不顺,建议回读对应小节再进第 2 章——第 2 章的 Catalyst 优化器会在这张地图上继续施工,地基不牢后面的执行计划会看得很吃力。

作者与出处
原作者:灏天文库
来源:平台策划编纂
整理人: 灏天文库整理
由灏天文库平台收录,内容或由平台用户上传,仅供学习交流
发布者: 作者: 灏天文库 转发
评论区 (0)
U