3.2 MapReduce API 与编程实践

文档摘要

3.2 MapReduce API 与编程实践第三章：Hadoop MapReduce 分布式计算框架 3.2 MapReduce API 与编程实践 3.2.1 MapReduce API 核心概念 MapReduce 框架的核心思想来源于函数式编程中的 Map 和 Reduce 操作。它将复杂的数据处理任务分解成两个主要的阶段：Map 阶段和 Reduce 阶段。这两个阶段通过键值对 (Key-Value Pair) 数据结构进行数据传递和处理。 1. 输入与输出类型：键值对 (Key-Value Pair) MapReduce 框架处理的数据都以键值对的形式存在。无论是输入数据、中间数据还是最终输出数据，都是键值对的形式。