Spark Core(十二)Spark Worker启动Driver和Executor原理

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/Suubyy/article/details/81487473
  1. Spark Worker启动DriverExecutor原理
    1. Worker启动Driver的一个基本原理就是Worker内部会创建一个DriverRunner,然后DriverRunner会启动一个线程,然后创建Driver的工作目录,然后在封装Driver启动命令,用ProcessBuilder启动Driver进程。
    2. Worker启动Exector的一个基本原理就是Worker内部会创建一个ExecutorRunner,然后ExecutorRunner会启动一个线程,然后创建Executor工作目录,然后封装启动Executor命令,用ProcessBuilder启动Executor进程。
    3. Driver启动之后,Executor启动以后会向Driver进行注册
  2. Spark Worker启动DriverExecutor原理图
    这里写图片描述

  3. Spark Worker启动DriverExecutor源码

    1. 启动Driver
      这里写图片描述
      这里写图片描述
      这里写图片描述
      这里写图片描述
      这里写图片描述
    2. 启动Executor:跟启动Driver的流程非常相似,这里就不阐述了。

猜你喜欢

转载自blog.csdn.net/Suubyy/article/details/81487473