Hadoopのソースコンパイラのサポートスナッピー圧縮（LinuxでのネットワークMavenのビルドを使用して）

序文

Hadoopのライブラリはてきぱきとではありませんが、考慮に入れててきぱきの利点は私の後ろに（スライスをサポートしていませんが、MR圧縮でシャッフル段と出力を！満たすためものの、より高速な圧縮は、圧縮率は、より良いです） Hadoopのは、一般的な圧縮形式の下で仕上げ、並びにそれらの強みと弱みう！

リソースの準備

CentOSのネットワーク

CentOSの構成は、外部のネットワークに接続することができます。Linux仮想マシンのping www.baidu.comヤムインストールする必要があることに、滑らかさ！ヤムインストール
注：ルートの役割のコンパイルを、フォルダのアクセス権の問題を軽減

準備のjarパッケージ（Hadoopのソース、JDK8、Mavenの、いるProtobuf）

（1）hadoop-2.7.2-src.tar.gz
（2）jdk-8u144-linux-x64.tar.gz
（3）snappy-1.1.3.tar.gz
（4）apache-maven-3.0.5-bin.tar.gz
（5）protobuf-2.5.0.tar.gz

ジャーパッケージのインストール

注：すべての操作はrootユーザーの下に行われなければなりません

JDKアンパックは、configure環境変数JAVA_HOMEとPATH（設定を確認するには、両方の必要性が成功すると）、Javaのバージョンを確認します

[root@hadoop101 software] # tar -zxf jdk-8u144-linux-x64.tar.gz -C /opt/module/
[root@hadoop101 software]# vim /etc/profile

JAVA_HOME

export JAVA_HOME=/opt/module/jdk1.8.0_144
export PATH=$PATH:$JAVA_HOME/bin

[root@hadoop101 software]#source /etc/profile

java -version：コマンドを確認してください

Mavenの解凍、およびPATHの設定MAVEN_HOME

[root@hadoop101 software]# tar -zxvf apache-maven-3.0.5-bin.tar.gz -C /opt/module/
[root@hadoop101 apache-maven-3.0.5]# vim /etc/profile

#MAVEN_HOME
export MAVEN_HOME=/opt/module/apache-maven-3.0.5
export PATH=$PATH:$MAVEN_HOME/bin

[root@hadoop101 software]#source /etc/profile

コマンドを確認します。MVN -version

コンパイルソースコード

環境を構築する準備ができました

[root@hadoop101 software]# yum install svn
[root@hadoop101 software]# yum install autoconf automake libtool cmake
[root@hadoop101 software]# yum install ncurses-devel
[root@hadoop101 software]# yum install openssl-devel
[root@hadoop101 software]# yum install gcc*

コンパイルし、てきぱきをインストール

[root@hadoop101 software]# tar -zxvf snappy-1.1.3.tar.gz -C /opt/module/
[root@hadoop101 module]# cd snappy-1.1.3/
[root@hadoop101 snappy-1.1.3]# ./configure
[root@hadoop101 snappy-1.1.3]# make
[root@hadoop101 snappy-1.1.3]# make install

ビューてきぱきライブラリー

[root@hadoop101 snappy-1.1.3]# ls -lh /usr/local/lib |grep snappy

コンパイルしているProtobufをインストール

[root@hadoop101 software]# tar -zxvf protobuf-2.5.0.tar.gz -C /opt/module/
[root@hadoop101 module]# cd protobuf-2.5.0/
[root@hadoop101 protobuf-2.5.0]# ./configure 
[root@hadoop101 protobuf-2.5.0]#  make 
[root@hadoop101 protobuf-2.5.0]#  make install

インストールが成功したかどうかのテストにいるProtobufバージョンを見ます

[root@hadoop101 protobuf-2.5.0]# protoc --version

Hadoopのネイティブコンパイラ

[root@hadoop101 software]# tar -zxvf hadoop-2.7.2-src.tar.gz
[root@hadoop101 software]# cd hadoop-2.7.2-src/
[root@hadoop101 software]# mvn clean package -DskipTests -Pdist,native -Dtar -Dsnappy.lib=/usr/local/lib -Dbundle.snappy

実装を成功した後には/ opt /ソフトウェア/ Hadoopの-2.7.2-SRC / Hadoopの-distの/ターゲット/ Hadoopの-2.7.2.tar.gzサポートきびきびの新世代は、バイナリインストールパッケージを圧縮されています。