5.1.1 MapReduce (默认引擎)

文档摘要

5.1.1 MapReduce (默认引擎) Hive 5.1 执行引擎详解：MapReduce (默认引擎) 的深度实践与解析 MapReduce 引擎概述 MapReduce 是一种分布式计算框架，它将大型数据集分解成小块，分发给集群中的多台计算机并行处理，最终汇总结果。在 Hive 中，MapReduce 引擎将 HiveQL 查询语句转换为一系列 MapReduce 作业，然后在 Hadoop 集群上执行。 1.1 MapReduce 的核心概念 Mapper (映射器): Mapper 阶段负责读取输入数据，并根据业务逻辑进行初步处理，生成键值对 (key-value pairs) 作为中间结果。在 Hive 中，Mapper 通常负责解析表数据、过滤、投影等操作。