Spark-submit方式提交spark任务

版权声明：版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/lijingjingchn/article/details/83384065

1. 提交命令

export ALL_JARS='--jars /ljj/hbase/phoenix-4.10.0-HBase-1.1-client.jar,/ljj/hbase/phoenix-spark-4.10.0-HBase-1.1.jar,/ljj/hbase/phoenix-core-4.10.0-HBase-1.1.jar'

su -l yarn -c "/usr/bin/spark-submit --master yarn --deploy-mode client --class main.scala.bulkload.BulkloadHebeiDataPhoenix $ALL_JARS /ljj/CsdSpark.jar"

---

2. 注意事项

使用spark-submit来提交spark程序，spark app本身jar以及使用--jars指定的所有jar包都会自动被分发到集群。--jars参数必须使用逗号分隔。