1.3 Spark运行架构

文档摘要

1.3 Spark运行架构 1.3 Spark 运行架构详解：代码实践与深度解析 1.3.1 Spark 运行架构的核心组件 Spark 的运行架构采用主从（Master-Slave）模式，主要由以下核心组件构成：驱动器进程 (Driver Process): 驱动器进程是 Spark 应用的核心，它负责运行用户编写的应用程序代码，创建 Spark 上下文 (SparkContext)，协调作业 (Job) 的执行，并将任务 (Task) 分发到执行器进程 (Executor Process) 进行处理。驱动器进程通常运行在集群的客户端节点上，但也可以配置在集群内部节点运行。集群管理器 (Cluster Manager): 集群管理器负责集群资源的分配和管理。