java.lang.NoSuchMethodError: scala.Predef$.refArrayOps([Ljava/lang/Object;)

spark提交自己编写的jar的时候如果出现如上的错误,多半是你项目中使用的spark相关jar的版本和你提交到的spark的版本不匹配,如下:

项目pom.xml导入的spark-core版本号如下:

<dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-core_2.12</artifactId>
    <version>2.4.5</version>
</dependency>

但是你spark集群的版本又是2.11的,项目中使用的jar的版本一定要和spark目录下面的jars里面的版本一致才行

猜你喜欢

转载自www.cnblogs.com/wkaca7114/p/spark-version.html