Spark Yarn核心概念说明

1) Driver:和ClusterManager通信,进行资源申请、任务分配并监督其运行状况等。

2) ClusterManager:指YARN。

3) DAGScheduler:把spark作业转换成Stage的DAG图。

4) TaskScheduler:把Task分配给具体的Executor。

5) ResourceManager:负责整个集群的资源管理和分配。

6) ApplicationMaster:YARN中每个Application对应一个AM进程,负责与RM协商获取资源,获取资源后告诉NodeManager为其分配并启动Container。

7) NodeManager:每个节点的资源和任务管理器,负责启动/停止Container,并监视资源使用情况。

8) Container:YARN中的抽象资源。

猜你喜欢

转载自blog.csdn.net/peter_changyb/article/details/81190081