Hadoop apoyo compilador de código de compresión Snappy (mediante la acumulación de Maven redes bajo Linux)

prefacio

hadoop biblioteca no está con ágil, pero teniendo en cuenta las ventajas de ágil (compresión más rápida, la relación de compresión es mejor, aunque no soporta las rebanadas, sino para cumplir con la etapa de reproducción aleatoria y la salida en la compresión mr!) detrás de mí hadoop entonces terminando bajo los formatos de compresión comunes, así como sus fortalezas y debilidades!

Preparación de los recursos

CentOS Red

configuración CentOS se puede conectar a redes externas. Linux máquinas virtuales de ping www.baidu.com es suave, que tendrá que instalar Yum! Yum install
Nota: El papel de la raíz de compilación, reducir los problemas de permisos de carpetas

paquete listo frasco (fuente hadoop, JDK8, maven, protobuf)

（1）hadoop-2.7.2-src.tar.gz
（2）jdk-8u144-linux-x64.tar.gz
（3）snappy-1.1.3.tar.gz
（4）apache-maven-3.0.5-bin.tar.gz
（5）protobuf-2.5.0.tar.gz

la instalación del paquete jar

Nota: Todas las operaciones deben realizarse bajo el usuario root

JDK de desempaquetado, configurar las variables de entorno JAVA_HOME y PATH, verificar java-version (ya que tanto necesidad de verificar la configuración es correcta)

[root@hadoop101 software] # tar -zxf jdk-8u144-linux-x64.tar.gz -C /opt/module/
[root@hadoop101 software]# vim /etc/profile

JAVA_HOME

export JAVA_HOME=/opt/module/jdk1.8.0_144
export PATH=$PATH:$JAVA_HOME/bin

[root@hadoop101 software]#source /etc/profile

Verificar comando: java -version

descompresión Maven, y PATH MAVEN_HOME configuración

[root@hadoop101 software]# tar -zxvf apache-maven-3.0.5-bin.tar.gz -C /opt/module/
[root@hadoop101 apache-maven-3.0.5]# vim /etc/profile

#MAVEN_HOME
export MAVEN_HOME=/opt/module/apache-maven-3.0.5
export PATH=$PATH:$MAVEN_HOME/bin

[root@hadoop101 software]#source /etc/profile

Verificar el comando: mvn -version

Compilar el código fuente

Listo para construir entorno

[root@hadoop101 software]# yum install svn
[root@hadoop101 software]# yum install autoconf automake libtool cmake
[root@hadoop101 software]# yum install ncurses-devel
[root@hadoop101 software]# yum install openssl-devel
[root@hadoop101 software]# yum install gcc*

Compilar e instalar ágil

[root@hadoop101 software]# tar -zxvf snappy-1.1.3.tar.gz -C /opt/module/
[root@hadoop101 module]# cd snappy-1.1.3/
[root@hadoop101 snappy-1.1.3]# ./configure
[root@hadoop101 snappy-1.1.3]# make
[root@hadoop101 snappy-1.1.3]# make install

Ver biblioteca ágil

[root@hadoop101 snappy-1.1.3]# ls -lh /usr/local/lib |grep snappy

Compilar e instalar protobuf

[root@hadoop101 software]# tar -zxvf protobuf-2.5.0.tar.gz -C /opt/module/
[root@hadoop101 module]# cd protobuf-2.5.0/
[root@hadoop101 protobuf-2.5.0]# ./configure 
[root@hadoop101 protobuf-2.5.0]#  make 
[root@hadoop101 protobuf-2.5.0]#  make install

Ver la versión protobuf para comprobar si la instalación es correcta

[root@hadoop101 protobuf-2.5.0]# protoc --version

Hadoop compilador nativo

[root@hadoop101 software]# tar -zxvf hadoop-2.7.2-src.tar.gz
[root@hadoop101 software]# cd hadoop-2.7.2-src/
[root@hadoop101 software]# mvn clean package -DskipTests -Pdist,native -Dtar -Dsnappy.lib=/usr/local/lib -Dbundle.snappy

Después de la implementación exitosa, / opt / software / hadoop-2.7.2-src / hadoop-dist / target / hadoop-2.7.2.tar.gz es la nueva generación de apoyo ágil comprimido paquete de instalación binario.