spark1.6学习（三）——spark-submit

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/wild46cat/article/details/84576173

参考： http://spark.apache.org/docs/1.6.0/submitting-applications.html#master-urls

这里详细介绍了一下spark-submit的参数使用和功能，需要看一下。

这里遇到问题，当换成yarn-client方式运行的时候会一直出现提示：

18/10/27 02:06:50 INFO yarn.Client: Application report for application_1540605321820_0009 (state: ACCEPTED)

18/10/27 02:06:51 INFO yarn.Client: Application report for application_1540605321820_0009 (state: ACCEPTED)

18/10/27 02:06:52 INFO yarn.Client: Application report for application_1540605321820_0009 (state: ACCEPTED)

在cdh里面看一下yarn集群的执行任务情况：

发现已经有一个任务正在运行，并且，没有多余的资源空闲出来给新的任务，而且那个任务停在那里不再执行了，所以利用yarn的命令停掉任务。

yarn application -kill application_1540605321820_0009

详细的job运行情况需要看这里http://cdh1:8088/cluster

关于spark-submit的具体参数说明和使用，我会在后面详细介绍。