Hadoop源代码在Windows下面的编译

Updated 2015-02-24

本文可以作为Windows下编译Hadoop的参考。

 

首先可以看一下编译指南:https://svn.apache.org/repos/asf/hadoop/common/trunk/BUILDING.txt

 

主要是有几个软件必须得有,不是简单的mvn package就可以的,依赖包括:

0.JDK的JAVA_HOME和Maven的M2_HOME,这是基本配置;

1.因为有native code,所以要有msbuild,即visual studio 2010/2012/2013之一(2010还不能是Express的,似乎Express 2010的不支持64位编译)

Windows SDK和VS是二选一的。

2.protocolbuffer,下载并把exe路径加入path

3.make for win32,下载并把exe路径加入path

4.Cygwin

5.zlib headers

 

具体操作:

打开命令行到hadoop源代码路径,然后:

对于64位系统,设置

set Platform=x64

对于32位系统,设置

set Platform=Win32

 

设置ZLIB_HOME到你的路径,比如我的是

set ZLIB_HOME=D:\zlib-1.2.8

---------------------------------------------------------

A. 如果是Visual Studio 10(VS 2010),那么下面可以直接执行

mvn package -Pdist,native-win -DskipTests -Dtar

 

经过漫长的等待,应该可以成功的打包出来

e:\temp\hdp\hadoop-dist\target\hadoop-x.y.z.tar.gz (x.y.z是版本号,可以是2.6.0或者3.0.0等)

---------------------------------------------------------

B. 如果是Visual Studio 12(VS 2013),那么需要进一步的设置,引用自:

http://zutai.blogspot.com/2014/06/build-install-and-run-hadoop-24-240-on.html?showComment=1422091525887#c2264594416650430988

(注意可以使用Visual Studio Express 2013)

 

B1. 首先把Visual Studio 项目 native.vcxproj, libwinutils.vcxproj and winutils.vcxproj 从 VS2010 升级到 VS2013,具体是用VS2013打开:

$hadoop-common-project\hadoop-common\src\main\winutils\winutils.sln

$hadoop-common-project\hadoop-common\src\main\native\native.sln

按提示升级。

 

B2.打开$hadoop-hdfs-project\hadoop-hdfs\pom.xml. 搜索 "Visual Studio 10 Win64", 改为 "Visual Studio 12 Win64"

 

B3.然后是构建过程如下:

B3.1 可以在开始菜单打开Developer Command Prompt for VS2013(中文版是"VS2013 开发人员命令提示"),命令行目录在C:\Program Files (x86)\Microsoft Visual Studio 12.0\Common7\Tools\Shortcuts, 用这个打开的命令行提示来编译。

 

B3.2 命令行里面执行批处理"vcvarsx86_amd64.bat",位置在"C:\Program Files (x86)\Microsoft Visual Studio 12.0\VC\bin\x86_amd64",即:

"C:\Program Files (x86)\Microsoft Visual Studio 12.0\VC\bin\x86_amd64\vcvarsx86_amd64.bat"

 

B3.3 切换到源代码目录,根据需要执行:

mvn install -DskipTests

或者

mvn package -Pdist,native-win -DskipTests -Dtar

 

---------------------------------------------------------

 

另外附上两个网址,如何在windows下运行hadoop,没有测试过,可以自行试验。

http://zutai.blogspot.com/2014/06/build-install-and-run-hadoop-24-240-on.html

http://stackoverflow.com/questions/18630019/running-apache-hadoop-2-1-0-on-windows

 

注意:如果没有进行B步骤的设置(windows 8或者windows 2012,visual studio 2013),会提示:

Failed to execute goal org.codehaus.mojo:exec-maven-plugin:1.2:exec (compile-ms-winutils) on project hadoop-common: Command execution failed. Cannot run program "msbuild" (in directory "C:\hdfs\hadoop-common-project\hadoop-common")

详见:http://stackoverflow.com/questions/20592050/build-hadoop-2-2-on-windows

 

猜你喜欢

转载自flashing.iteye.com/blog/2139534