spark编译和生成部署包

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/qq_27667379/article/details/88312246

有时候下载的spark不支持一些应用需要添加一些依赖，需要对spark进行编译。

比如我安装了ganglia集群，但是spark不支持要编译。

前提安装好MAVEN JAVA,我的系统是ubuntu

step1:官网或者GitHub上下载源码

step2:解压源码

step3:设置maven编译时的jvm方法区大小

set MAVEN_OPTS=-Xmx2g -XX:MaxPermSize=5120M -XX:ReservedCodeCacheSize=512m 

step4:编译

mvn -DskipTests -Pspark-ganglia-lgpl -Phadoop-2.6 -Dhadoop.version=2.6.0 clean package

最后生成源码包目录下生成jar包

step5:生成部署包

./dev/make-distribution.sh --name 2.6.0 --tgz  -Phadoop-2.6 -Pspark-ganglia-lgpl