Spark RDD计算过程

1. Driver给Executor发送消息,包括taskset数据
2. Executor接收到对应的消息
   
   1. executor反序列化数据成任务描述
   2. executor通过LaunchTask来执行Task
   3. executor中的launchTask方法中,把task封装成TaskRunner,并在executor线程池中获取一个线程执行
   4. 上面获取一下线程执行时,最终会调用TaskRunner对象中的run方法
   5. run:
      
      1. 给driver发送自己正在运行的状态
      2. 反序列化task
      3. task.run执行——>调用task.runTask(),这是一个抽象方法
   6. ShuffleMapTask.runTask
      
      1. 反序列化RDD和依赖关系
      2. rdd.iterator()——->rdd.compute()
      3. compute最终是调用我们自己定义的计算函数
      4. 从shuffleManager获取shuffleWrite,把当前的Task计算结果写入到具体的文件中,顺便把mapStatus发送给Driver的DAGSchedule的MapOutputTrack
   7. ResultTask.runTask
      
      1. 从Driver的DAGSchedule的MapOutputTrack出获取上一个Task结果
      2. 反序列化
      3. 调用我们自己的函数执行