1.3.2 运行流程

文档摘要

1.3.2 运行流程 Spark运行架构详解：1.3.2 运行流程深度剖析与代码实践引言 Spark运行架构概览 (简要回顾) 在深入运行流程之前，我们先简要回顾一下Spark的运行架构，这有助于我们理解运行流程中各个组件的角色和作用。Spark运行架构主要包含以下核心组件： Driver进程 (Driver Process): Spark应用的控制中心，负责：用户程序的运行 (main 函数)。创建，连接集群。构建 DAG (有向无环图)。将 DAG 划分为 Stages (阶段)。将 Tasks (任务) 分发给 Executor 进程。监控 Job 的执行。