文章目录
千辛万苦踩了居多坑之后把hadoop安装好了，进行文件put ls 等一系列操作的时候竟然给我警告，就很烦。
如下图
接下来较为详细的说明一下编译hadoop源码的基本流程
1.首先新建一个干净的虚拟机
- 本次以centos7为基础
2.查看编译所需配件
（简称电脑配件 滑稽保命
从官网下载hadoop源码包，传入虚拟机进行解压。
- 打开之后进入路径查看building.txt文件
很容易看到
JDK1.8
maven3.3以上
protocolbuffer必须是2.5.0
cmake3.1以上
3.进入(配件)安装步骤
首先yum一些可以默认安装的东西
yum -y update
yum install -y glibc-headers gcc-c++ make automake autoconf libtool curl unzip subversion-devel openssl-devel
下面是需要手动安装的
3.1JDK安装
查看路径配置profile
#java
export JAVA_HOME=/opt/java/jdk1.8.0_171
export PATH=$PATH:$JAVA_HOME/bin
阶段性检测 java -version
3.2 ant安装
#ant
export ANT_HOME=/opt/ant/apache-ant-1.9.14
export PATH=$PATH:$ANT_HOME/bin
阶段性检测 ant -version
3.3maven 安装
#maven
export MAVEN_HOME=/opt/maven/apache-maven-3.6.3
export PATH=$PATH:$MAVEN_HOME/bin
阶段性检测 mvn -version
3.4 findbugs
#findbugs
export FIND_HOME=/opt/findbugs/findbugs-3.0.1
export PATH=$PATH:$FIND_HOME/bin
阶段性检测findbugs -version
3.5 cmake安装
- 解压之后进入路径下（进入目录下就是类似/opt/findbugs/cmake-x.x.x这样）
cd cmake-3.xx.x
- ./configure --prefix=/opt/cmake/cmake-3.xx.x
- 路径写自己的
- 下一步输入make
- 最后输入make install
配置profile
#cmake
export PATH=$PATH:/opt/cmake/cmake-3.16.5/bin
阶段性检测cmake -version
3.6 protobuf安装
同样是进入目录下
- ./autogen.sh
- ./configure --prefix=[path]
- make
- make check
- make install
- ldconfig
配置profile
#PROTOBUF_PATH
export PROTOBUF_PATH=/opt/protobuf/protobuf-2.5.0
export PATH=$PATH:$PROTOBUF_PATH/bin
阶段性检测protoc -version
4 编译hadoop源码
需要先添加一些镜像
路径是这里
/opt/maven/apache-maven-3.6.3/conf/settings.xml
把下面代码放到mirrors标签内部（注意不要放到注释内部）
<mirror>
<id>alimaven</id>
<name>aliyun maven</name>
<url>http://maven.aliyun.com/nexus/content/groups/public/</url>
<mirrorOf>central</mirrorOf>
</mirror>
<mirror>
<id>alimaven</id>
<mirrorOf>central</mirrorOf>
<name>aliyun maven</name>
<url>http://maven.aliyun.com/nexus/content/repositories/central/</url>
</mirror>
下面是hadoop源码路径下的pom.xml文件 删除一些东西
进入目录下
开始编译
mvn clean package -Pdist,native -DskipTests -Dtar
等大概两三个小时（本次是第二次所以说时间短）
如上图就是成功啦
这里存着编译好的hadoop
传到自己电脑上做备份以后直接用
完结！
原创文章 27
获赞 71
访问量 1万+