编译spark2.4.3出现 Failed to execute goal org.codehaus.mojo:exec-maven-plugin

spark 2.4编译

1、下载spark2.4.3源码
2、安装maven
3、解压spark2.4.3执行

export MAVEN_OPTS="-Xmx2g -XX:MaxPermSize=512M -XX:ReservedCodeCacheSize=512m"  
./make-distribution.sh --name hadoop2.6 --tgz -Psparkr -Phadoop-2.7.2 -Phive -Phive-thriftserver -Pyarn

出现错误:

Failed to execute goal org.codehaus.mojo:exec-maven-plugin:1.6.0:exec (sparkr-pkg) 

解决办法:

./make-distribution.sh --name hadoop2.7 --tgz -PR -Phadoop-2.7.2 -Phive -Phive-thriftserver -Pyarn

如果想让spark支持tachyon
 make-distribution.sh 文件
SPARK_TACHYON=true

发布了98 篇原创文章 · 获赞 148 · 访问量 3万+

猜你喜欢

转载自blog.csdn.net/qq_40310148/article/details/90573076