Hadoop源码编译（linux）

1、前期CentOS准备工作
配置CentOS能连接外网。Linux虚拟机连接外网是畅通的
（最好使用root用户编译，减少文件夹权限出现问题）
2、jar包准备(hadoop源码、JDK8、maven、ant 、protobuf)
（1）hadoop-2.9.2-src.tar.gz
（2）jdk-8u144-linux-x64.tar.gz
（3）apache-ant-1.9.14-bin.tar.gz（build工具，打包用的）
（4）apache-maven-3.6.3-bin.tar.gz
（5）protobuf-2.5.0.tar.gz（序列化的框架）
将jar包放入/opt/software文件夹下

3、jar包安装
3.1、JDK解压、配置环境变量 JAVA_HOME和PATH，
java-version(如下都需要验证是否配置成功)
[root@hadoop217 software] # tar -zxf jdk-8u144-linux-x64.tar.gz -C /opt/module/
[root@hadoop217 software]# vim /etc/profile
#JAVA_HOME：
export JAVA_HOME=/opt/module/jdk1.8.0_144
export PATH= $PATH:$JAVA_HOME/bin
[root@hadoop217 software]#source /etc/profile
验证命令：java -version
3.2、Maven解压、配置 MAVEN_HOME和PATH



插入内容
<mirror> <id>nexus-aliyun</id> <mirrorOf>central</mirrorOf> <name>Nexus aliyun</name> <url>http://maven.aliyun.com/nexus/content/groups/public</url> </mirror>
[root@hadoop217 apache-maven-3.6.3]# vim /etc/profile

[root@hadoop217 software]#source /etc/profile
验证命令：mvn -version
3.3、ant解压、配置 ANT _HOME和PATH
[root@hadoop217 software]# tar -zxvf apache-ant-1.9.14-bin.tar.gz -C /opt/module/
[root@hadoop217 apache-ant-1.9.14]# vim /etc/profile

[root@hadoop217 software]#source /etc/profile
验证命令：ant -version
3.4、安装 glibc-headers 和 g++ 命令如下
[root@hadoop217 apache-ant-1.9.14]# yum install glibc-headers
[root@hadoop217 apache-ant-1.9.14]# yum install gcc-c++
3.5、安装make和cmake
[root@hadoop217 apache-ant-1.9.14]# yum install make
[root@hadoop217 apache-ant-1.9.14]# yum install cmake
3.6、解压protobuf ，进入到解压后protobuf主目录，然后依次执行命令
[root@hadoop217 software]# tar -zxvf protobuf-2.5.0.tar.gz -C /opt/module/
[root@hadoop217 opt]# cd /opt/module/protobuf-2.5.0/

[root@hadoop217 protobuf-2.5.0]#./configure
[root@hadoop217 protobuf-2.5.0]# make
[root@hadoop217 protobuf-2.5.0]# make check
[root@hadoop217 protobuf-2.5.0]# make install
[root@hadoop217 protobuf-2.5.0]# ldconfig

[root@hadoo217hadoop-dist]# vim /etc/profile

[root@hadoop217 software]#source /etc/profile
验证命令：protoc --version
3.7、安装openssl库，ncurses-devel库
[root@hadoop217 software]#yum install openssl-devel
[root@hadoop217 software]#yum install ncurses-devel
4、开始编译源码
4.1、解压源码到/opt/目录
[root@hadoop217 software]# tar -zxvf hadoop-2.9.2-src.tar.gz -C /opt/
4.2、进入到hadoop源码主目录
/opt/hadoop-2.9.2-src
4.3、通过maven执行编译命令
[root@hadoop217 hadoop-2.9.2-src]#mvn package -Pdist,native -DskipTests -Dtar
等待20分钟左右，最终结果全部SUCCESS便是成功编译hadoop源码

4.4、成功的64位hadoop包在/opt/hadoop-2.9.2-src/hadoop-dist/target下
4.5、编译期间maven报错，需要多次执行命令