Hadoop警告：WARN util.NativeCodeLoader

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/whjcsdnwhj/article/details/82186901

目录

 

一、原因分析

二、解决办法

---

一、原因分析

当hadoop配置完成运行类似  bin/hdfs dfs ....之类的命令时，有时候会出现以下警告：

WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

意思是当前平台不能加载（不兼容）hadoop包，hadoop包在lib目录下

也有人说这是hadoop的预编译包是32bit的，运行在64bit上就会有问题，下面看一下是不是这个问题。

如何验证64bit还是32bit?

进入hadoop 的 lib/native目录下：

$ cd /opt/modules/hadoop-2.9.1/lib/native

用ldd命令查看依赖库

$ ldd libhadoop.so.1.0.0

会输出如下信息：

[whj@whj01 native]$ ldd libhadoop.so.1.0.0
./libhadoop.so.1.0.0: /lib64/libc.so.6: version `GLIBC_2.14' not found (required by ./libhadoop.so.1.0.0)
    linux-vdso.so.1 =>  (0x00007ffe007d0000)
    libdl.so.2 => /lib64/libdl.so.2 (0x00007f27e5ca9000)
    libpthread.so.0 => /lib64/libpthread.so.0 (0x00007f27e5a8b000)
    libc.so.6 => /lib64/libc.so.6 (0x00007f27e56f7000)
    /lib64/ld-linux-x86-64.so.2 (0x00007f27e60d8000)

可以看到依赖的都是/lib64/的动态库，所以不是64位/32位问题。但是看到报错，GLIBC_2.14找不到，现在检查系统的glibc库,  ldd --version即可检查。
输入命令：

$ ldd --version

原来系统预装的glibc库是2.12版本，而hadoop期望是2.14版本，所以打印警告信息。

二、解决办法

方法一：

下载对应版本的源码包进行编译，编译成功后将HADOOP_HOME/lib/native/目录下的内容用编译后的内容全部替换。

hadoopa源码编译请参考《本地编译Hadoop2.9.1源码总结》，这里详细介绍了hadoop源码的编译步骤。

替换后即可成功解决警告问题

方法二：

直接在log4j日志中去除告警信息，在HADOOP_HOME/hadoop-2.9.1/etc/hadoop/log4j.properties文件中添加

log4j.logger.org.apache.hadoop.util.NativeCodeLoader=ERROR