spark 2.4编译
1、下载spark2.4.3源码
2、安装maven
3、解压spark2.4.3执行
export MAVEN_OPTS="-Xmx2g -XX:MaxPermSize=512M -XX:ReservedCodeCacheSize=512m"
./make-distribution.sh --name hadoop2.6 --tgz -Psparkr -Phadoop-2.7.2 -Phive -Phive-thriftserver -Pyarn
出现错误:
Failed to execute goal org.codehaus.mojo:exec-maven-plugin:1.6.0:exec (sparkr-pkg)
解决办法:
./make-distribution.sh --name hadoop2.7 --tgz -PR -Phadoop-2.7.2 -Phive -Phive-thriftserver -Pyarn
如果想让spark支持tachyon
make-distribution.sh 文件
SPARK_TACHYON=true