7.6.2 实时计算增强

文档摘要

7.6.2 实时计算增强 Spark实时计算增强：迈向低延迟的未来 7.6.2 实时计算增强 1. Spark实时计算的演进与挑战 Spark最初以其强大的批处理能力而闻名，但随着Spark Streaming (DStreams) 的引入，Spark开始涉足实时计算领域。DStreams基于微批处理模型，将连续的数据流切分成小的批次进行处理，虽然在一定程度上实现了实时性，但其固有的批处理特性也带来了以下挑战：延迟较高：微批处理模型的最小延迟受限于批次间隔，即使批次间隔设置得很小，也难以达到真正的亚秒级甚至毫秒级延迟。资源利用率波动：微批处理在批次处理期间资源消耗较高，而在批次间隔期间资源利用率较低，导致资源利用率不稳定。