部署Spark环境遇到的问题

Hadoop :2.7.2

Spark :2.1.0-bin-hadoop2.7

scala:2.10.1

问题:

在部署环境时将jdk、scala、spark、hadoop放置于/opt目录下,因为应用需要,所以在spark/jars目录下添加了scala-library-2.10.4.jar的包,在使用start-all.sh启动spark集群时出现异常,提示NoClassDefFoundError:scala/collection/GenTraversableOnce$class,但是如果将该spark路径移动到/usr/下就可以正常启动。

猜你喜欢

转载自blog.csdn.net/v_gbird/article/details/78806560