第3章 流处理微批引擎


第3章 流处理微批引擎

本章要回答的三个问题:①Spark Streaming 说自己"实时",引擎里却看不到常驻流水线,实时是怎么装出来的?②窗口和状态在微批模型里被存成了什么?③流作业挂了,已经处理一半的数据怎么办?

为什么会有这一章

批处理引擎天然假定数据有头有尾。但日志、订单、传感器信号没有尾,它们是一条持续到达的河。让批引擎下河,只有两种改法:要么重造一条真流水线(逐条处理),要么把河切成一段一段的"小批",让批引擎周而复始地跑。Spark Streaming 选了后者——微批。这个选择决定了它的一切执行特征:延迟以秒计而非毫秒、吞吐由批引擎保证、窗口与状态全部退化为带时间戳的 RDD 操作。巡检这章,就是看它如何把"流动"翻译成"定时触发的批"。

读完能解决什么

  • 讲清微批引擎的定时触发机制与 DStream 到 RDD 的映射关系
  • 用窗口、updateStateByKey、mapWithState 完成有状态的流式统计
  • 按 exactly-once 语义审视检查点、预写日志与事务输出的组合
  • 对照批处理的调优经验完成流侧的性能加固

各节怎么分工

节 回答哪个问题 关键产出
3.1 微批执行模型 实时是怎么装出来的 微批流水线触发时序
3.2 DStream 操作 流式 API 底下是什么 DStream 到 RDD 的分解实验
3.3 窗口与状态管理 跨批次记忆怎么存 滑动窗口与两级状态 API 对比
3.4 容错与性能调优 挂了怎么办、怎么更快 exactly-once 三件套与背压参数

先决条件

  • 第 1 章的血统与 Task 派发模型、第 2 章的 DataFrame 基础
  • 对消息队列的"订阅-消费"概念有基本印象(第 7 章会展开集成细节)

本章可考核知识点清单

  • 能解释批次间隔如何同时决定延迟下限与吞吐摊销粒度
  • 能说出 DStream 算子模板展开的机制并描述其 UI 证据
  • 能区分滑动窗口的窗口长度与滑动步距对 Shuffle 次数的影响
  • 能对比 updateStateByKey 与 mapWithState 的状态更新粒度与清理代价
  • 能列出恰好一次语义的三个成立条件并指出最常失守的一环
  • 能解读批次耗时对批次间隔的比值曲线并给出处置顺序

往下走到哪

本章巡检的 DStream 模型是 Spark Streaming 时代的答案,如今工程里更多使用其继任者 Structured Streaming——但微批内核、水位、状态存储这些概念被完整继承。把本章的执行模型吃透,切换到 Structured Streaming 只需换一层 API 皮。

巡检提示:图里没有常驻计算节点,"流"是一串离散的小批作业。延迟下限就是批次间隔——这是架构选择,不是调参能突破的。

再给一条实战阅读路线:如果只关心"让流作业稳定跑",可以直接从 3.1 跳到 3.4,容错三件套与背压参数是值班救急手册;如果要做窗口统计与状态维护,3.2 与 3.3 必须连读——DStream 的模板展开机制决定了窗口操作的 Shuffle 形态,跳过 3.2 直接看 3.3 的状态 API,容易只记住写法而不知代价。全章收尾的自查题:给你一个"每 10 秒统计前 60 秒各渠道点击量"的需求,能否同时写出窗口参数、估出每分钟的作业次数与 Shuffle 次数,并指出延迟下限由哪个数字决定。三问都能落笔,本章的执行模型才算真正装进脑子。

作者与出处
原作者:灏天文库
来源:平台策划编纂
整理人: 灏天文库整理
由灏天文库平台收录,内容或由平台用户上传,仅供学习交流
发布者: 作者: 灏天文库 转发
评论区 (0)
U