Exception in thread "main" java.lang.NoSuchMethodError: scala.Predef$.ArrowAssoc(Ljava/lang/Object;)

其实这个错误就是编译的程序的scala版本和提交时的版本不一致导致的.
我是在idea上写的scala程序 用的是2.11.8, 但是在提交spark时 忽然发现spark用的是2.10.5

解决办法:
就是在idea上重新下个和spark集群上相同的版本就行了 .
但是我在集群上配置的明明就是2.11.8 包括 spark-env.sh里的配置也是
原因:
spark1.6.1(当前版本)还不支持2.11.x , 其中很多的插件还不兼容
spark就默认是用了 bin/下自带的scala版本
在这里插入图片描述
在这里插入图片描述

https://blog.csdn.net/u012102306/article/details/51103560

猜你喜欢

转载自blog.csdn.net/qq_35078688/article/details/85075605