Hadoop2.7.3源码编译成支持Snappy的压缩包，并安装搭建Hadoop集群

前序

准备资源
注意：采用 root 角色编译，减少文件夹权限出现问题

apache-maven-3.6.3-bin.tar.gz
下载地址:	https://maven.apache.org/download.cgi

hadoop-2.7.3-src.tar.gz
下载地址:	https://archive.apache.org/dist/hadoop/common/

protobuf-2.5.0.tar.gz
下载地址:	https://github.com/protocolbuffers/protobuf/releases?after=v3.0.0-alpha-3.1

snappy-1.1.3.tar.gz
下载地址:	https://github.com/google/snappy/releases

Hadoop相关资源 上面这些也有

1.maven的安装

将安装包上传到linux中，用命令解压

tar -zxvf apache-maven-3.6.3-bin.tar.gz  // 解压到当前目录下

为了避免后面导入依赖速度过慢

cd apache-maven-3.6.3/conf/

修改该目录下的settings.xml文件

<mirrors>
    <!-- mirror
     | Specifies a repository mirror site to use instead of a given repository. The repository that
     | this mirror serves has an ID that matches the mirrorOf element of this mirror. IDs are used
     | for inheritance and direct lookup purposes, and must be unique across the set of mirrors.
     | this mirror serves has an ID that matches the mirrorOf element of this mirror. IDs are used
     | for inheritance and direct lookup purposes, and must be unique across the set of mirrors.
     |
    <mirror>
      <id>mirrorId</id>
      <mirrorOf>repositoryId</mirrorOf>
      <name>Human Readable Name for this Mirror.</name>
      <url>http://my.repository.com/repo/path</url>
    </mirror>
     -->
 	<!--修改为阿里镜像-->
    <mirror>
      <id>alimaven</id>
      <name>aliyun maven</name>
      <url>http://maven.aliyun.com/nexus/content/groups/public/</url>
      <mirrorOf>central</mirrorOf>
    </mirror>

  </mirrors>

maven默认库的位置在

/root/.m2/repository/

想要修改maven的库可以在settings.xml文件加上

<localRepository>/usr/Software/Maven/repository</localRepository> //路径自己写

添加环境变量

vi /etc/profile

export MAVEN_HOME=/usr/Software/Maven/apache-maven-3.6.3
export PATH=$PATH:$MAVEN_HOME/bin
保存退出
source /etc/profile

检验环境变量是否生效
mvn -version

2.准备编译环境

yum install svn 
yum install autoconf automake libtool cmake 
yum install ncurses-devel 
yum install openssl-devel 
yum install gcc*

安装snappy
上传安装包到linux中并解压

tar -zxvf snappy-1.1.3.tar.gz

cd snappy-1.1.3/

分别执行

该命令会在 /usr/local/ 下生成bin、include、lib目录
./configure 

make

make install

如果lib下生成libsnappy相关文件即为成功

安装protobuf
上传安装包到linux中并解压

tar -zxvf protobuf-2.5.0.tar.gz

cd protobuf-2.5.0/

分别执行

./configure 

make

make install

检测protobuf安装是否成功
执行命令
protoc --version

3.编译支持Snappy的Hadoop2.7.3源码

同样的，上传hadoop-2.7.3-src.tar.gz

解压
tar -zxvf hadoop-2.7.3-src.tar.gz

cd hadoop-2.7.3-src/

mvn clean package -DskipTests -Pdist,native -Dtar -Dsnappy.lib=/usr/local/lib -Dbundle.snappy

该项目打包过程漫长(本人打包花了两个多小时)，耐心等待即可，后面我会提供支持Snappy压缩的安装包

执行成功后，hadoop-2.7.3-src/hadoop-dist/target/hadoop-2.7.3.tar.gz 即为生成的支持 snappy 安装包。

补充一个问题

org.apache.maven.plugin.MojoExecutionException: 
protoc version is 'libprotoc x.x.x', expected version is '2.5.0' -> [Help 1

碰到这样的错误说明打包Hadoop需要的protobuf版本为2.5.0，与当前版本不一致

4.安装支持Snappy的Hadoop集群

将上面生成的hadoop-2.7.3.tar.gz解压

tar -zxvf hadoop-2.7.3.tar.gz

如果是之前已经搭建好Hadoop集群的

cd hadoop-2.7.3/lib/native/

将该目录下的所有文件复制到之前已经搭建好的Hadoop目录下的 lib/native/ 下

启动Hadoop集群

执行命令

hadoop checknative

看到snappy对应为true即为成功

没搭建过Hadoop集群的看这里

Hadoop HA集群的搭建

5.支持Snappy的Hadoop安装包

链接：https://pan.baidu.com/s/101n4HOClGdJu6oNTb8Kpbg
提取码：ta8l