第2章 Spark SQL与DataFrame


第2章 Spark SQL 与 DataFrame

本章要回答的三个问题:①一行 SQL 敲下去,引擎在把它变成 Task 之前做了哪些"改写"?②DataFrame 和 RDD 明明是两套 API,为什么跑在同一台引擎上?③拿到一份慢查询,怎么从执行计划里读出病灶?

为什么会有这一章

RDD API 把执行细节全部交给写代码的人:怎么分区、怎么缓存、先过滤还是先聚合,全凭手感。团队一大,手感参差不齐,引擎再快也架不住糟糕的血统图。Spark SQL 的思路是把优化权收回来——你只声明"要什么"(SQL 或 DataFrame 链),Driver 里的 Catalyst 优化器负责决定"怎么跑"。于是这台引擎多了一条编译流水线,本章巡检的就是这条流水线。

读完能解决什么

  • 讲清 Catalyst 从未解析计划到物理计划再到字节码的四级变换
  • 用 DataFrame 完成日常结构化数据处理,并知道它与 Dataset 的边界
  • 把 SQL 与 DataFrame 混用,且明白两者最终汇入同一执行计划
  • 读 explain 输出,定位低效 Join 策略、多余 Shuffle 与倾斜分区

各节怎么分工

节 回答哪个问题 关键产出
2.1 Spark SQL 与 Catalyst 优化器 引擎替你改写了什么 优化器四级流水线拆解
2.2 DataFrame 与 Dataset 操作 两套 API 如何统一 类型安全与执行自由的取舍表
2.3 SQL 查询实战 声明式入口怎么用 SQL 与 DataFrame 混编案例
2.4 执行计划与性能优化 慢在哪、怎么治 explain 解读与倾斜治理手法

先决条件

  • 第 1 章的 Stage、Shuffle、Task 概念已经建立,特别是宽依赖的判定
  • 大致了解关系型数据库的表、Join、Group By 语义
  • 会一点 Python 或 SQL,能读懂链式调用与基本查询

本章可考核知识点清单

  • 能按顺序说出 Catalyst 四级流水线各自负责的改写类型
  • 能在 explain 输出里指出谓词下推与列裁剪发生的证据行
  • 能区分广播 Join 与排序归并 Join 的触发条件及各自 Shuffle 代价
  • 能解释 Dataset 对象级 lambda 为何绕开代码生成及其性能后果
  • 能复述窗口函数合并规则:分区与排序键一致时共享一次 Shuffle
  • 能对一个倾斜 Join 说出至少两种治理手法及其适用前提

往下走到哪

本章结束,批处理侧的巡检工具箱就齐了。第 3 章把同一台引擎对准流动的数据——你会发现微批流水的底层,正是本章的 DataFrame 执行计划在按时间片反复运转。

巡检提示:这条流水线全部发生在 Driver 内、行动算子触发之前。所以"SQL 写错"在解析期报错,"SQL 太慢"在执行期才暴露——两类问题的排障入口完全不同。

顺带一个学习节奏建议:2.1 与 2.4 是原理双翼,前者讲"计划怎么生成",后者讲"计划怎么读",两节对照着读收益最大;2.2 与 2.3 是 API 双手,挑自己顺手的先写,写完再用 explain 回看计划,肌肉记忆比背规则牢固。章末自查标准很朴素:拿一条自己写过的慢 SQL,能在五分钟内从 explain 输出里指认出至少一处可优化点,并说出改写后物理计划的预期变化——比如 Shuffle 边界少一处或 Join 策略换一档,本章就算真正到手了。

作者与出处
原作者:灏天文库
来源:平台策划编纂
整理人: 灏天文库整理
由灏天文库平台收录,内容或由平台用户上传,仅供学习交流
发布者: 作者: 灏天文库 转发
评论区 (0)
U