--executor-memory 每一个executor使用的内存大小
--total-executor-cores 整个application使用的核数
1.提交一个spark程序到spark集群,会产生哪些进程?
SparkSubmit(也叫做Driver),主要作用是提交任务,也可以调度任务
Executor 用于执行需要计算的任务
2.在提交spark-submit任务的时候,已经用 --master指定了master节点,如果在提交任务的时候,该master宕机了,怎么办?
如果是高可用集群,可以在--master后面可以指定多个master节点,写法要注意: --master spark://hadoop101:7077,hadoop102:7077
提交任务可以指定多个master地址，目的是为了提交任务高可用
3.sc是spark core(RDD)的执行入口
4.spark任务执行流程
1).首先master启动,然后workers启动
workers首先跟master建立连接(进行注册),进行RPC通信,每个worker会把自己现有的内存跟核数汇报给master
master接收到workers汇报的信息后,如果只有一个master,那么这些信息会被master保存在内存,然后持久化到磁盘,如果有两个(或多个)master, 则会将这些信息持久化到zookeeper,用于做故障切换
2).master反馈给workers已经注册成功,接下来workers会定时发送心跳给master,目的是为了告诉master自己还活着,可以将任务分配给自己
3).当客户端SparkSubmit(Driver)提交任务的时候,首先要跟master通信,然后向master申请资源
master的功能就是负责资源调度,分配资源(就是指定 Executor启动在哪些workers上),master资源分配的策略就是尽量让任务运行在更多的机器上
4).master收到Driver的请求后,再去跟workers进行RPC通信,让worker启动Executor (各个Executor会接收到资源参数)
5).Executor接下来会跟提交任务的Driver(通过master告诉worker,worker告诉Executor,进而Executor知道Driver的位置)进行通信,因为真正的计算逻辑是在Driver端的,Driver端会将计算逻辑生成具体的任务(task),通过网络发送给每一个Executor(每一个Executor可以接收并执行多个task任务),然后Executor会执行真正的计算逻辑
