【Windows】下【Spark】源码编译

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/lixiaowang_327/article/details/77804129

谁说 巨硬 不能搞 Spark ？！

开玩笑，因为公司提供的是 Windows ，我能怎么办呢，我也很绝望啊。

最开始参考的链接(1)： https://github.com/lixiaowang/spark-notes/blob/master/ide-setup.md#%E7%BC%96%E8%AF%91spark%E9%A1%B9%E7%9B%AE

和链接(2)： http://blog.csdn.net/do_yourself_go_on/article/details/73129408

后来发现并没有什么用...

本文编译的是 Spark-1.5.1 && Java7(jdk-1.7.0_79) && Scala-2.10.4 && IntelliJ IDEA 14.0.2

在 Spark 已经更新到 2.2.0 的情况下，仍然来搞 1.5.1 实在是工作需要...

Windows下使用 git bash (maven) 编译 spark 源码

1、maven 配置阿里云镜像：

    <mirror>  
      <id>alimaven</id>  
      <name>aliyun maven</name>  
      <url>http://maven.aliyun.com/nexus/content/groups/public/</url>  
      <mirrorOf>central</mirrorOf>  
    </mirror> 

2、解决（避免） OutOfMemoryError 的问题：

网上的教程普遍是去修改maven的 /bin/mvn.cmd

@REM set MAVEN_OPTS=-Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=8000 -Xmx2g -XX:ReservedCodeCacheSize=512m -XX:MaxPermSize=512M

反正我改了没用！！！

于是决定直接在 git bash 里 export... 这个 trick 是从参考链接：

https://www.iteblog.com/archives/999.html来的。

$ export MAVEN_OPTS="-Xmx4g -XX:MaxPermSize=2048M -XX:ReservedCodeCacheSize=2048m"

机器内存不够 8g 的工友们可以改小一点试一试，网上推荐的一般是 512m~1000m ，我为了省事直接上了 2g ，毕竟现在 8g 已经标配了。

还有一个坑，是说 spark 源码的路径不能出现中文、不能有空格。

跳过测试，貌似可以加速编译：

3、编译成功：

参考链接：

(3)： http://f.dataguru.cn/thread-537920-1-1.html

(4)： http://www.dataguru.cn/thread-539343-1-1.html