spark-driver端流程分析

SparkSubmit命令执行过程

1. 通过反射机制把SparkSubmit对象构造出来,自动去执行submit函数
2. submit: 函数内部执行prepareSubmitEnvironment,准备提交环境,和doRunMain方法
3. prepareSubmitEnvironment: 创建运行app执行所需的环境
   
4. doRunMain:
   a. 新建一个类加载器
   b. 获取自己包中的主类和main方法
   c. 执行main方法
   
5. 在main方法中,初始化SparkContext对象
   a. 初始化spark执行环境
   b. 创建TaskScheduer
   c. 创建DAGScheduler
   d. 启动TaskScheduer
   
6. 启动TaskScheduer
   a.
7. 等等