- 文集信息
- 目录大纲
- 最新文档
- 知识宇宙
文集详情
文集导读
教程导读：把 Spark 当成一台任务执行引擎来巡检
学 Spark 的人常分成两拨：一拨背 API，一拨看源码。这本教程走第三条路——把自己想象成集群里值班的巡检工程师，每次调用一个算子，就追问一句：Driver 此刻在干什么？Stage 边界划在哪里？Executor 上的任务拿到了什么代码、什么数据？内存还是磁盘？失败了怎么补算？
Spark 的每一条 API 背后都站着同一台执行引擎：Driver 解析代码生成 DAG，DAGScheduler 按宽依赖切 Stage，TaskScheduler 把 Stage 拆成 Task 派发给 Executor，Executor 用线程池逐个执行并汇报。同一台引擎，跑的是 RDD、DataFrame、DStream、MLlib 还是 GraphX，只是换了"任务长什么样"的皮。把这个调度骨架看穿，Catalyst 优化、微批流水的执行本质、Pregel 的超步同步、数据倾斜的成因，全都能串成一条线。
全册知识地图
这本教程怎么读
全册 7 章。第 1 章建立引擎的世界观：一次 spark 提交从 Driver 启动到 Task 落地的完整链路，以及 RDD 血统如何支撑容错。第 2 章进入 Spark SQL，看一条 SQL 语句如何被 Catalyst 编译成物理计划、WholeStageCodegen 如何把算子熔成一段字节码。第 3 章巡检流处理，微批引擎把"实时"拆成一串定时触发的小批作业，窗口与状态不过是带时间戳的 RDD 转换。第 4、5 章看两台专用引擎：MLlib 把迭代计算钉在内存里，GraphX 用超步同步在图结构上做 BSP 计算。第 6 章是运维巡检手册：部署模式、内存配比、监控指标与故障定位。第 7 章向外看生态：Hadoop、NoSQL、消息队列、Spark Connect 与 Delta Lake 如何接入这台引擎。
读法建议
- 有 MapReduce 基础：直接从第 1 章的 Stage 划分读起，对比两种引擎的中间结果放置策略。
- 写业务 SQL 居多：第 2 章的执行计划解读是重点，配第 6 章的数据倾斜排错一起看。
- 做实时链路：第 3 章加第 7 章的消息队列集成，串起来就是一条完整的摄入管线。
- 算法与图方向：第 4、5 章的迭代执行模型决定了你该关心的性能参数（缓存、检查点、超步通信量）。
一句话总结这台引擎：代码在 Driver 上变成计划，计划切成 Stage，Stage 化作 Task，Task 在 Executor 的线程里变成日志。全书巡检的就是这条流水线上的每一站。
版本与语言上做个交代：示例以 3.x 系列的行为为准，Python 与 Scala 混用——语法差异不影响执行真相，引擎侧看到的是同一张 DAG。书里的每个实验都可以在 local 模式下复现，一台笔记本就够；涉及集群行为的部分会明确标注。每章末尾都有可考核的知识点清单，读完不妨自测，答不上的那一节值得再巡一遍。
目录大纲
最新文档
知识宇宙
正在加载知识图谱...