8.1.3 MapReduce/Tez/Spark 计算引擎

文档摘要

8.1.3 MapReduce/Tez/Spark 计算引擎 Hive 计算引擎深度解析：MapReduce/Tez/Spark 代码实践与详解在 Hive 的世界里，数据存储在 Hadoop 分布式文件系统 (HDFS) 中，而数据的处理则依赖于不同的计算引擎。Hive 本身并不直接进行数据计算，它更像是一个 SQL 到执行引擎的翻译器。当我们提交 Hive SQL 查询时，Hive 会将这些查询转换成底层计算引擎能够理解的任务，然后由这些引擎负责实际的数据处理工作。在 Hive 的发展历程中，经历了从最初的 MapReduce 到 Tez，再到 Spark 的演进。这三种计算引擎各有特点，在不同的场景下表现出不同的优势和劣势。