利用maven的资源提交spark任务

 官网的教程提交依赖的jar,使用 --jars 参数来添加额外的jar。这种方式比较费劲,如果依赖比较多需要一个个的弄,挺麻烦。

查看 SparkSubmit 源码时(结合help帮助),可以通过 --packages --repositories  两个参数来添加需要的包(当然也可以包括 primaryResource )。packages写法类似于sbt类似,多个包通过逗号分隔;repositories就是公共库的地址,多个库同样适用逗号分隔。

 ~/opt/spark-2.0.0-bin-2.6.3/bin/spark-submit  \
--packages \
"com.eshore.zhfx:analyser:2.5,org.elasticsearch:elasticsearch-spark-20_2.11:5.0.0-beta1" \
--repositories "http://cu1:8081/nexus/content/groups/public/" \
--class XXXXAnalyser --conf spark.es.nodes=cu2 --conf spark.es.port=9200 \
analyser-2.5.jar cu2:9092 cu2 $PWD >analyser.log 2>&1 &
 

猜你喜欢

转载自winse.iteye.com/blog/2329396