Spark 源码编译

1.下载源码包,本文一spark 1.6.3(其他相似)


http://spark.apache.org

2.解压文件

  tar xzvf  spark.tgz

3.进入解压目录  开始编译
修改pom.xml 添加cdh支持(非cdh,可以忽略)
  <repository>
            <id>cloudera</id>
            <url>https://repository.cloudera.com/artifactory/cloudera-repos/</url>
  </repository>

进入到解压目录进行执行以下目录

需要对scala 2.11 支持(如果scala 是scala 2.11.x,但spark是1.6.x 以2.10.6 编译的,如果scala版本是2.11.x需要使用以下命令(2.10.x  compiled spark-1.6.x or previous  by default )

./dev/change-scala-version.sh 2.11

执行编译

./make-distribution   --name 2.6.0-cdh5.6.0  --tgz -Pyarn  -Phadoop-2.6  -Phive -Phive-thriftserver -Dscala-2.11  -Dhadoop.version=2.6.0-cdh5.6.0  

1.编译过程很长,因各种各样原因中断,只需重新执行上述命令
2.编译scala 2.11 报错如下: scala2.11 代替2.10.x  支持spark-1.6.3




+ unset GITREV
++ command -v /home/spark/soft/spark/spark-1.6.3/build/mvn
+ '[' '!' /home/spark/soft/spark/spark-1.6.3/build/mvn ']'
++ /home/spark/soft/spark/spark-1.6.3/build/mvn help:evaluate -Dexpression=project.version -Pyarn -Phadoop-2.6 -Phive -Phive-thriftserver -Phive -Dscala-2.11 -DskipTests package
++ grep -v INFO
++ tail -n 1
+ VERSION='[ERROR]   mvn <goals> -rf :spark-test-tags_2.10'




执行下面语句
./dev/change-scala-version.sh 2.11
















4.编译完成后,进入目录找到
spark-1.6.3-bin-2.6.0-ch5.7.0.tgz 既可以解压安装