Spark运行模式_基于YARN的Resource Manager的Custer模式(集群)

使用如下命令执行应用程序:

        

和"基于YARN的Resource Manager的Client模式(集群)"运行模式,区别如下:

在Resource Manager端提交应用程序,会生成SparkSubmit进程,该进程只用来做Client端,应用程序提交给集群后,就会删除该进程。

        

Resource Manager在集群中的某个NodeManager上运行ApplicationMaster,该AM同时会执行driver程序。紧接着,会在各NodeManager上运行CoarseGrainedExecutorBackend来并发执行应用程序。

        

应用程序的结果,会在执行driver程序的节点的stdout中输出,而不是打印在屏幕上。

对应的YARN资源管理的单元Container,关系如下:

        

为ApplicationMaster生成了容器 000001

为CoarseGrainedExecutorBackend生成了容器 000002-000003

转载自:
作者:俺是亮
链接:https://www.jianshu.com/p/65a3476757a5
來源:简书

猜你喜欢

转载自www.cnblogs.com/chengzipg/p/9317019.html