Spark 内核

Spark内核

Spark内核泛指Spark的核心运行机制，包括Spark核心组件的运行机制、Spark任务调度机制、Spark内存管理机制、Spark核心功能的运行原理等。

Spark核心组件

Driver

Spark驱动器节点，用于执行Spark任务中的main方法：

1. 将用户程序转化为作业（job）；
2. 在Executor之间调度任务(task)；
3. 跟踪Executor的执行情况；
4. 通过UI展示查询运行情况；

Executor

Spark Executor节点是一个JVM进程，负责在 Spark 作业中运行具体任务，任务彼此之间相互独立。Spark 应用启动时，Executor节点被同时启动，并且始终伴随着整个 Spark 应用的生命周期而存在。如果有Executor节点发生了故障或崩溃，Spark 应用也可以继续执行，会将出错节点上的任务调度到其他Executor节点上继续运行。
Executor两个核心功能：

1. 负责运行组成Spark应用的任务，并将结果返回给驱动器进程；
2. 它们通过自身的块管理器（Block Manager）为用户程序中要求缓存的 RDD 提供内存式存储。RDD 是直接缓存在Executor进程内的，因此任务可以在运行时充分利用缓存数据加速运算。

Spark核心运行流程

任务提交-Driver进程-集群管理器-分配Executor并启动-Driver所需资源满足-main函数（懒执行）-action算子-反向推算-根据宽依赖划分stage-每一个stage对应一个taskset(中有多个task)–分发task到指定的Executor执行(本地化原则)-Executor不断与Driver通信，报告任务运行情况。