当自己接收到JobSubmitted消息后出发handleJobSubmitted方法的执行,在其方法中会创建finalStage;
利用createResultStage方法找到parents
在寻找parents(List<Stage>)的过程中采用广度优先的算法。
计算好依赖链条后开始执行submitStage开始计算最左侧的stage(MissStage)
这里递归从后向前查找依赖stage,找到第一个stage后执行submitMissingTasks开始计算
submitMissingTasks里需要计算任务本地性,是根据rdd.getPreferedLocations来计算数据本地性,也说明在任务分配之前就已经确定了任务发往哪个executor了。
然后调用taskScheduleImplement的submitTasks方法
这里会创建taskSetManager加入调度器(先进先出、公平调度)中,然后开始调用CoarseGrainedSchedulerBackend的reviveOffers方法开始调度。
然后DAGScheduler开始调度任务执行。
CoarseGrainedSchedulerBackend的reviveOffers方法是给自己发送消息ReviveOffers,当接收到消息后会执行makeOffers方法执行launchTask发送任务给Executor.
当Executor接收到任务后会通过线程池复用的方式执行任务。
当executor执行到runTask时会有ShuffleMapTask和ResultTask,我们以ShuffleMapTask为例看看最后是怎样执行到RDD的compute方法的。
如果存储基本不是NONE就执行getOrCompute
程序会根据运行时的RDD来执行对应的compute方法。