./build/mvn -Pyarn -Phadoop-2.6 -Dhadoop.version=2.6.0 -DskipTests clean package
先执行上面的命令,会下载各种依赖jar和pom什么的,此过程比较长,大约1小时左右。成功后,再执行下面的命令
./make-distribution.sh --name custom-spark --tgz -Psparkr -Phadoop-2.6 -Dhadoop.version=2.6.1 -Phive -Phive-thriftserver -Pyarn
执行完成后,我们在spark源码目录会发现多个一个压缩文件
spark-1.6.3-bin-custom-spark.tgz
这个压缩包就可以用来安装spark了,解压,我们在bin目录执行spark-shell命令,结果如下,我们发现修改后的代码编译有效了。