1) Driver:和ClusterManager通信,进行资源申请、任务分配并监督其运行状况等。
2) ClusterManager:指YARN。
3) DAGScheduler:把spark作业转换成Stage的DAG图。
4) TaskScheduler:把Task分配给具体的Executor。
5) ResourceManager:负责整个集群的资源管理和分配。
6) ApplicationMaster:YARN中每个Application对应一个AM进程,负责与RM协商获取资源,获取资源后告诉NodeManager为其分配并启动Container。
7) NodeManager:每个节点的资源和任务管理器,负责启动/停止Container,并监视资源使用情况。
8) Container:YARN中的抽象资源。