本章要回答的三个问题:①同样是分布式计算,Spark 为什么敢把中间结果放进内存?②RDD 到底是数据结构还是执行计划?③一行算子代码从敲下到 Executor 执行,中间经历了哪几站?
MapReduce 时代排障,工程师最熟悉的画面是:作业跑完六小时,磁盘上堆着几百 GB 中间文件,下一步计算又把这批文件读回来。磁盘来回搬数据不是计算,是搬运。迭代计算一个机器学习任务要反复扫同一份数据几十轮,每一轮都付一次磁盘税,代价被放大几十倍。Spark 的答案不是"换个更快的磁盘",而是重造执行引擎的记账方式——用血统(lineage)记录数据怎么算出来的,而不是把数据本身反复落盘。要理解这个取舍,就得进引擎内部看。
| 节 | 回答哪个问题 | 关键产出 |
|---|---|---|
| 1.1 从 MapReduce 到 Spark | 为什么要造这台引擎 | 两代引擎的中间结果放置对比图 |
| 1.2 RDD 弹性分布式数据集 | 引擎记账的单位是什么 | 血统与 Stage 划分原理 + 分区实验代码 |
| 1.3 Driver 与 Executor 运行架构 | 一次提交经过哪几站 | 运行时组件协作时序 + 角色职责表 |
本章结束时你手里有了一张引擎内部地图。第 2 章把这张地图套到 Spark SQL 上——你会发现 Catalyst 优化器做的事,本质是在 DAG 生成之前先替你改写血统。
巡检提示:这张图里唯一"懂你的代码"的角色是 Driver,Executor 只见过序列化后的任务字节码。后面每遇到一个奇怪行为,先判断它发生在 Driver 侧还是 Executor 侧,定位就快一半。
学完本章自查一遍:能否对着 1.2 节的分区实验代码,不看答案说出 Stage 数与 Task 数;能否向同事解释清楚"血统重算"和"缓存"分别在什么条件下更划算,各自的失败形态又是什么;看到一次 Shuffle 报错时能否立刻指出它发生在哪个角色的辖区。这几个问题答不顺,建议回读对应小节再进第 2 章——第 2 章的 Catalyst 优化器会在这张地图上继续施工,地基不牢后面的执行计划会看得很吃力。