本章要回答的三个问题:①Spark 与 Hadoop、NoSQL、消息队列握手时,数据在哪一侧、计算在哪一侧、瓶颈卡在哪一侧?②Spark Connect 把客户端与集群拆开后,什么变了、什么没变?③Delta Lake 这类表格式给执行引擎补上了什么缺口?
前六章把一台引擎从里到外巡检了一遍,但引擎从不孤立干活:数据躺在 HDFS 与对象存储里、实时事件压在消息队列里、低延迟查询要借道 NoSQL。每做一次集成,本质都是回答同一个工程问题——把数据搬到计算旁,还是把计算派到数据旁。不同答案催生了不同的连接器形态,也把瓶颈安放在不同位置。
本章末尾的 Spark Connect 与 Delta Lake 是近年两个方向性变化:前者重画了客户端与集群的边界,后者给"文件上的 SQL"补了事务与时间旅行。看懂它们,等于看见了这台引擎接下来的巡检路线图。
| 节 | 回答哪个问题 | 关键产出 |
|---|---|---|
| 7.1 与Hadoop生态集成 | 文件系统与仓库怎么接 | 数据本地性对调度的影响路径图 |
| 7.2 与NoSQL数据库集成 | 行存服务怎么接 | 三类连接器的读模式对比 |
| 7.3 与消息队列集成 | 流式源头怎么接 | 微批消费的位移管理机制 |
| 7.4 Spark Connect与Delta Lake | 引擎边界与表格式新方向 | 解耦架构图与事务日志解读 |
这是最后一章。读完后建议回头重看第 1 章那张提交链路图——此时你应该能对着每个箭头说出它在物理世界里的载体:网络协议、序列化格式、磁盘文件或容器进程。这便是巡检视角的完整闭环。
巡检提示:每个连接器都要问三个问题——数据按什么粒度切片、切片信息从哪来、计算能否贴着数据跑。三个答案凑齐,任何新连接器都能在十分钟内定位它的行为模式。
作为全册末章,建议的收束动作是把 7.1 到 7.3 的三类连接器并排做一次对比笔记:文件系统给块位置、NoSQL 给分区结构、消息队列给消费位移,三者的"切片信息"来源不同,决定了并行度地板与瓶颈位置各不相同。这份笔记连同第 1 章的调度链路图,就是全册巡检视角的两张底片——日后遇到任何新数据源,先找它的切片信息在哪,引擎侧行为就能推个八九不离十。