关于scala和spark版本冲突报错

获取版本对应

1.从spark官网可以获取

官网链接:https://spark.apache.org

Spark runs on Java 8, Python 2.7+/3.4+ and R 3.1+. For the Scala API,
Spark 2.4.5 uses Scala 2.12. You will need to use a compatible Scala
version (2.12.x).

2.从maven仓库也可以

在这里插入图片描述

因为我使用的Scala是2.10.6,而spark使用的是2.4.5,所以引起版本冲突,idea中报错:

Exception in thread "main" java.lang.NoSuchMethodError: scala.Predef$.$conforms()Lscala/Predef$$less$colon$less;
at org.apache.spark.util.Utils$.getSystemProperties(Utils.scala:1767)
at org.apache.spark.SparkConf.loadFromSystemProperties(SparkConf.scala:76)
at org.apache.spark.SparkConf.<init>(SparkConf.scala:71)
at org.apache.spark.SparkConf.<init>(SparkConf.scala:58)
at ScalaSparkContext.getSparkContext(Test.scala:8)
at ScalaSparkContext.<init>(Test.scala:6)
at Test$.main(Test.scala:25)
at Test.main(Test.scala)

可以从Scala官网中下载对应版本

https://www.scala-lang.org
		不得不说,下载速度超级慢
		
我从网上找到一下方法可以较快的下载:
	http://downloads.typesafe.com/scala/2.12.10/scala-2.12.10.msi
	若是要下载别的版本只需要将版本号更改即可。

可以从官网中复制下载链接,使用迅雷大法下载。
发布了179 篇原创文章 · 获赞 20 · 访问量 1万+

猜你喜欢

转载自blog.csdn.net/ExclusiveName/article/details/104662556
今日推荐