升级spark2.1为2.2

       spark官网在documations看spark2.2的介绍,在more里面有个buliding spark(编译spark),需要使用maven 3.3.9或更新,jdk1.7的支持被移除了,需要使用1.8.

      所以升级需要将环境变量里面的java_home指向jdk1.8的路径,spark_home指向新的编译解压的spark地址(下载的spark版本要和cdh对应)  ,scala 2.10依然支持,但是需要先执行  ./dev/chang-scala-version.sh 2.10这句话

猜你喜欢

转载自blog.csdn.net/someInNeed/article/details/89815981
今日推荐