版权声明：版权所有,转载请注明出处.谢谢 https://blog.csdn.net/weixin_35353187/article/details/82840851
常驻进程：Master 进程 Worker 进程
Master : 常驻进程，守护进程。 管理worker，接收提交的任务，进行任务的分配调度。
Worker : 常驻进程，守护进程。 报活；管理自己节点上的executor
当我们提交 spark 任务的时候（spark-shell ,spark-submit）会生成了一个 Applications，默认会占用所有 Worker 的 cores，每一个默认占用了 1g 内存。
可在启动时指定参数。
在执行 spark-submit 的节点上，有 spark-submit(dirver)进程，
当执行spark任务的时候，在哪里提交spark-submit命令，就在哪台机器上启动SparkSubmit进程。
然后，当我们的任务执行完毕之后，这两个进程都会退出了
在任务执行的节点上（worker 节点上）有CoarseGrainedExecutorBackend（executor）进程
这一个超长的进程通常叫做 Executor，被 worker 进程启动。
真正负责任务的运行。提交任务的节点，通常称为 Dirver.当执行spark-shell时，会携带参数，并向master发送任务请求，master在接收到请求之后，会根据客户端需要的任务资源，选择出合适的Worker节点，然后向worker发送任务指令，接收到任务之后，worker会启动一个executor进程，executor启动后，会等待分配计算任务，那然后呢，executor会向driver通信，当有driver任务要执行时，任务就会分发到executor上， 然后并行执行。
CoarseGrainedExecutorBackend 简称为 executor
当程序执行的时候，会在worker中，启动executor进程。
Driver: 在哪里创建SparkContext实例，哪里就是Driver。初始化的工作。
在当前的standalone的模式下，Driver就在客户端。和执行sparkSubmit进程在一起。
spark on yarn 的是，Driver，可能运行在集群中。