Hadoop编译完整过程

前言

在编译Hadoop的过程中,用老版本的软件会造成很多不必要的问题,用最新的稳定版本是最好的选择。

hadoop编译环境:

在下载完hadoop(最好下载最新版本)后,进入hadoop的目录打开BUILDING.txt,可以看到hadoop所依赖的软件列表,按照我们在前言中的观念,若其中没有声明某软件的版本,就选择最新的安装,如果想省事的话也可以直接yum或者apt-get。

hadoop编译过程中的问题:

1. 依赖问题

出现错误时首先查看ERROR的信息,仔细阅读,一般来说都是有关环境依赖的问题,此时需下载相应的依赖,如果不能发现解决办法,就去查看相近的WORRING,这里一般会阐述错误出现的原因。

2.编译问题

当你无法在提示信息中找到错误的解决办法时,说明信息提示的并不完整,在hadoop报错信息的最后几行,会提示使用mvn <goals> -rf :hadoop-xxxx,根据信息表示,这样的方式可以让你去编译指定的包,不用从头开始检查,在编译指定的包时,hadoop会提示更准确的错误信息,根据信息去解决(此时我猜你的问题八成是mvn clean的问题,哈哈),如果真出现了需要mvn clean的时候,使用如下指令mvn clean package -Pdist,native -DskipTests -Dtar  -rf :hadoop-xx  即可解决问题。

总结

在编译hadoop的过程中一般除了依赖问题就是编译的问题,遇到错误不要慌张,沉着冷静,仔细应对,在错误提示信息中寻找答案,不要盲目百度,祝好。

猜你喜欢

转载自blog.csdn.net/Mowen_Yi/article/details/80923831