本章要回答的三个问题:①Spark Streaming 说自己"实时",引擎里却看不到常驻流水线,实时是怎么装出来的?②窗口和状态在微批模型里被存成了什么?③流作业挂了,已经处理一半的数据怎么办?
批处理引擎天然假定数据有头有尾。但日志、订单、传感器信号没有尾,它们是一条持续到达的河。让批引擎下河,只有两种改法:要么重造一条真流水线(逐条处理),要么把河切成一段一段的"小批",让批引擎周而复始地跑。Spark Streaming 选了后者——微批。这个选择决定了它的一切执行特征:延迟以秒计而非毫秒、吞吐由批引擎保证、窗口与状态全部退化为带时间戳的 RDD 操作。巡检这章,就是看它如何把"流动"翻译成"定时触发的批"。
| 节 | 回答哪个问题 | 关键产出 |
|---|---|---|
| 3.1 微批执行模型 | 实时是怎么装出来的 | 微批流水线触发时序 |
| 3.2 DStream 操作 | 流式 API 底下是什么 | DStream 到 RDD 的分解实验 |
| 3.3 窗口与状态管理 | 跨批次记忆怎么存 | 滑动窗口与两级状态 API 对比 |
| 3.4 容错与性能调优 | 挂了怎么办、怎么更快 | exactly-once 三件套与背压参数 |
本章巡检的 DStream 模型是 Spark Streaming 时代的答案,如今工程里更多使用其继任者 Structured Streaming——但微批内核、水位、状态存储这些概念被完整继承。把本章的执行模型吃透,切换到 Structured Streaming 只需换一层 API 皮。
巡检提示:图里没有常驻计算节点,"流"是一串离散的小批作业。延迟下限就是批次间隔——这是架构选择,不是调参能突破的。
再给一条实战阅读路线:如果只关心"让流作业稳定跑",可以直接从 3.1 跳到 3.4,容错三件套与背压参数是值班救急手册;如果要做窗口统计与状态维护,3.2 与 3.3 必须连读——DStream 的模板展开机制决定了窗口操作的 Shuffle 形态,跳过 3.2 直接看 3.3 的状态 API,容易只记住写法而不知代价。全章收尾的自查题:给你一个"每 10 秒统计前 60 秒各渠道点击量"的需求,能否同时写出窗口参数、估出每分钟的作业次数与 Shuffle 次数,并指出延迟下限由哪个数字决定。三问都能落笔,本章的执行模型才算真正装进脑子。