本章要回答的三个问题:①一行 SQL 敲下去,引擎在把它变成 Task 之前做了哪些"改写"?②DataFrame 和 RDD 明明是两套 API,为什么跑在同一台引擎上?③拿到一份慢查询,怎么从执行计划里读出病灶?
RDD API 把执行细节全部交给写代码的人:怎么分区、怎么缓存、先过滤还是先聚合,全凭手感。团队一大,手感参差不齐,引擎再快也架不住糟糕的血统图。Spark SQL 的思路是把优化权收回来——你只声明"要什么"(SQL 或 DataFrame 链),Driver 里的 Catalyst 优化器负责决定"怎么跑"。于是这台引擎多了一条编译流水线,本章巡检的就是这条流水线。
| 节 | 回答哪个问题 | 关键产出 |
|---|---|---|
| 2.1 Spark SQL 与 Catalyst 优化器 | 引擎替你改写了什么 | 优化器四级流水线拆解 |
| 2.2 DataFrame 与 Dataset 操作 | 两套 API 如何统一 | 类型安全与执行自由的取舍表 |
| 2.3 SQL 查询实战 | 声明式入口怎么用 | SQL 与 DataFrame 混编案例 |
| 2.4 执行计划与性能优化 | 慢在哪、怎么治 | explain 解读与倾斜治理手法 |
本章结束,批处理侧的巡检工具箱就齐了。第 3 章把同一台引擎对准流动的数据——你会发现微批流水的底层,正是本章的 DataFrame 执行计划在按时间片反复运转。
巡检提示:这条流水线全部发生在 Driver 内、行动算子触发之前。所以"SQL 写错"在解析期报错,"SQL 太慢"在执行期才暴露——两类问题的排障入口完全不同。
顺带一个学习节奏建议:2.1 与 2.4 是原理双翼,前者讲"计划怎么生成",后者讲"计划怎么读",两节对照着读收益最大;2.2 与 2.3 是 API 双手,挑自己顺手的先写,写完再用 explain 回看计划,肌肉记忆比背规则牢固。章末自查标准很朴素:拿一条自己写过的慢 SQL,能在五分钟内从 explain 输出里指认出至少一处可优化点,并说出改写后物理计划的预期变化——比如 Shuffle 边界少一处或 Join 策略换一档,本章就算真正到手了。