5.1 核心概念与架构

文档摘要

5.1 核心概念与架构 1. 引言 2. Hadoop的核心概念 2.1 分布式存储与计算 Apache Hadoop的核心理念之一是分布式存储和计算。它将计算任务拆分为多个部分，在多个节点上并行执行，数据存储也分布在各个节点上，以提高效率和容错能力。分布式存储： Hadoop通过HDFS提供一个可靠的、容错的分布式存储解决方案，HDFS将大文件拆分成多个块（blocks），并将这些块复制到集群中的不同节点上，从而确保数据的高可用性。分布式计算： MapReduce是Hadoop的计算框架。它将计算任务拆分为两部分：Map和Reduce。Map任务将数据拆分并处理，Reduce任务负责汇总和处理Map任务的输出。 2.