intellij链接真实spark集群运行wordcount-Java

#---------------------------------------------------------------------------------------------------------------------------------------

这个实验注意哈如果是连接local模式的spark集群那随便搞。

如果是连接真实集群,那么每个node中的spark版本必须和pom.xml中的spark相关版本一致。

#---------------------------------------------------------------------------------------------------------------------------------------

①intellij新建一个maven工程

②pom.xml

③新建类TestSparkJava(右键点击java->New->Java Class)

intellij中点击mvn package生成jar包

注意哈,如果是local模式,不需要执行第④步,但是如果是连接真实spark集群,这步不可以省去,否则会报错!

⑤修改TestSparkJava中setJars后面的路径,该路径是④中生成的jar包所在的路径

右键点击TestSparkJava选择Run TestSparkJava.main( )

---------------------------------------------------------------------------附录---------------------------------------------------------------------------

完整工程如下:

https://gitee.com/appleyuchi/spark_success/tree/master/testSpark-Intellij连接真实spark用法

pom.xml(spark版本必须和pom.xml中的spark相关版本一致,否则会有莫名其妙的错误)

Reference:

[1]在 IntelliJ IDEA 中配置 Spark(Java API) 运行环境

猜你喜欢

转载自blog.csdn.net/appleyuchi/article/details/107671219