3.4 MapReduce 高级特性与优化

文档摘要

3.4 MapReduce 高级特性与优化 3.4 MapReduce 高级特性与优化 3.4.1 Combiner：本地聚合，减少数据传输特性详解： Combiner，也称为“合并器”，是MapReduce框架中的一个可选组件，它位于Mapper和Reducer之间。其主要作用是在Mapper端输出数据的基础上，先进行一次本地聚合，再将聚合后的结果发送给Reducer。Combiner本质上是一个Reducer，但它运行在Mapper节点上，针对每个Mapper的输出结果进行局部聚合。为什么要使用Combiner？ MapReduce作业的瓶颈往往在于网络带宽。Mapper的输出结果需要通过网络传输到Reducer，如果Mapper产生的数据量巨大，网络传输就会成为性能瓶颈。