编译hadoop支持snappy压缩

kylinbuild cube时出现hadoop不支持snappy压缩的问题,原因是Hadoop的二进制安装包中没有snappy支持,需要手工重新编译。

编译过程:
1.
安装包列表
snappy-1.1.1.tar.gz

protobuf-2.5.0.tar.gz
hadoop-2.6.4-src.tar.gz

2. 编译安装snappy
tar -zxvf snappy-1.1.1.tar.gz

cd snappy-1.1.1/
./configure
sudo make
sudo make install

 

3. 编译安装protobuf
tar -zxvf protobuf-2.5.0.tar.gz

cd protobuf-2.5.0/

./autogen.sh
./configure 

make 
sudo make install
# 查看protobuf版本以测试是否安装成功
protoc –version


4.
安装依赖
sudo yum install autoconf automake libtool cmake

sudo yum install ncurses-devel
sudo yum install openssl-devel
sudo yum install gcc*

5. 编译hadoop native
tar -zxvf hadoop-2.6.4-src.tar.gz

cd hadoop-2.6.4-src/
mvn clean package -DskipTests -Pdist,native-Dtar -Dsnappy.lib=/usr/local/lib -Dbundle.snappy


执行成功后,进入到hadoop-dist/target/目录下hadoop-2.6.4.tar.gz文件即为新生成的二进制安装包。

猜你喜欢

转载自blog.csdn.net/Gospelanswer/article/details/54917435