.Spark基于Standalone提交任务两种方式

  • Standalone-client模式:

1、client模式提交任务后,会在客户端启动Driver进程
2、Driver会向Master申请启动Application启动的资源
3、资源申请成功,Driver端将task发送到worker端执行
4、worker将task执行结果返回到Driver端
 

  • Standalone-master模式:

1、cluster模式提交应用程序后,会向Master请求启动Driver.(而不是启动application)
2、Master接受请求,随机在集群一台节点启动Driver进程
3、Driver启动后为当前的应用程序申请资源。Master返回资源,并在对应的worker节点上发送消息启动Worker中的executor进程
4、Driver端发送task到worker节点上执行
5、worker将执行情况和执行结果返回给Driver端。Driver监控task任务,并回收结果

 

猜你喜欢

转载自www.cnblogs.com/xiangyuguan/p/11221939.html