Hadoop编译

1、首先去http://hadoop.apache.org/releases.html 下载相应的源码包 例如hadoop-2.8.1-src.tar

2、解压该包到指定文件目录,可以通过ls查看该目录的结构

3、查看BUILDING.txt 获取编译所需环境

4、安装JDK、MAVEN、FINDBUGS

解压相应的安装包到指定目录,并在/etc/profile配置环境变量



5、安装PROTOCBUF

(1)解压protocbuf,在其家目录执行 yum -y install gcc gcc-c++ make cmake

安装完成后入上图所示。

(2)完成后 执行 ./configure --prefix=/usr/local/protobuf

成功截图如上所示

(3)make && make install

成功后,在/usr/local/protobuf生成对应bin、include、lib等

(4)在环境变量配置该组件

6、其他依赖通过如下命令直接安装
yum install -y openssl openssl-devel svn ncurses-devel zlib-devel libtool

yum install -y snappy snappy-devel bzip2 bzip2-devel lzo lzo-devel lzop autoconf automake

7、接着在hadoop-2.8.1-src的家目录,执行mvn clean package -Pdist,native -DskipTests -Dtar 进行编译

其中,在BUILDING.txt中,有相应的编译命令

8、由于编译过程中需要下载依赖包,可能依据网络不通而时间不同,由于已经下载好相应的包,故编译时间较快。成功截图如下

编译后的文件存放于 /opt/software/hadoop-2.8.1-src/hadoop-dist/target/


提醒:
1、有时候编译过程中会出现下载某个包的时间太久,这是由于连接网站的过程中会出现假死,
此时按ctrl+c,重新运行编译命令。
2、如果出现缺少了某个文件的情况,则要先清理maven(使用命令 mvn clean) 再重新编译。

猜你喜欢

转载自blog.csdn.net/xjp8587/article/details/80397317