主体转自：http://blog.sina.com.cn/s/blog_3d9e90ad0102wqrp.html （未亲测，我的getconf LONG_BIT返回32，且file libhadoop.so.1.0.0返回64，与之相反）

Hadoop的本地库（Native Libraries）介绍

Hadoop是使用Java语言开发的，但是有一些需求和操作并不适合使用java，所以就引入了本地库（Native Libraries）的概念，通过本地库，Hadoop可以更加高效地执行某一些操作。

目前在Hadoop中，本地库应用在文件的压缩上面：

zlib
gzip

在使用这两种压缩方式的时候，Hadoop默认会从$HADOOP_HOME/lib/native/Linux-*目录中加载本地库。

如果加载成功，输出为：

DEBUG util.NativeCodeLoader - Trying to load the custom-built native-hadoop library...
INFO util.NativeCodeLoader - Loaded the native-hadoop library

如果加载失败，输出为：

INFO util.NativeCodeLoader - Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

在Hadoop的配置文件core-site.xml中可以设置是否使用本地库：

  hadoop.native.lib
  true
  Should native hadoop libraries, if present, be used.

Hadoop默认的配置为启用本地库。

另外，可以在环境变量中设置使用本地库的位置：

export JAVA_LIBRARY_PATH=/path/to/hadoop-native-libs

有的时候也会发现Hadoop自带的本地库无法使用，这种情况下就需要自己去编译本地库了。在$HADOOP_HOME目录下，使用如下命令即可：

ant compile-native

编译完成后，可以在$HADOOP_HOME/build/native目录下找到相应的文件，然后指定文件的路径或者移动编译好的文件到默认目录下即可。

官方的检查命令：

Check

官方链接：http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/NativeLibraries.html#Native_Hadoop_Library

NativeLibraryChecker is a tool to check whether native libraries are loaded correctly. You can launch NativeLibraryChecker as follows:

$ hadoop checknative -a
14/12/06 01:30:45 WARN bzip2.Bzip2Factory: Failed to load/initialize native-bzip2 library system-native, will use pure-Java version 
14/12/06 01:30:45 INFO zlib.ZlibFactory: Successfully loaded & initialized native-zlib library Native library checking:
hadoop: true /home/ozawa/hadoop/lib/native/libhadoop.so.1.0.0 
zlib: true /lib/x86_64-linux-gnu/libz.so.1 
snappy: true /usr/lib/libsnappy.so.1 
lz4: true revision:99 
bzip2: false

更多关于Hadoop的文章，可以参考：http://www.cnblogs.com/gpcuster/tag/Hadoop/

hadoop native本地库问题总结

最近，打算hbase建表用snappy压缩时，碰到一些hadoop本地库的问题。其实这些问题是一直存在的，只是不影响正常使用，就没有引起重视。这次希望彻底解决以下问题：

问题一：执行start-dfs.sh时出现以下日志

xxxx: Java HotSpot(TM) 64-Bit Server VM warning: You have loaded library /usr/local/hadoop-2.4.0/lib/native/libhadoop.so which might have disabled stack guard. The VM will try to fix the stack guard now.

xxxx: It's highly recommended that you fix the library with 'execstack -c ', or link it with '-z noexecstack'.

这是因为官网提供的版本本地库是32位的，在64位主机环境下无法执行。需要下载hadoop源码进行编译(如何编译源码可以上网搜索)，编译成功后，找到native下的文件拷贝到${HADOOP_HOME}/lib/native目录下即可。

问题二：执行start-dfs.sh时出现以下日志

WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

在网上找到的所有文章中，都是说在hadoop-env.sh中加入以下两行配置：

export HADOOP_COMMON_LIB_NATIVE_DIR=${HADOOP_HOME}/lib/native

export HADOOP_OPTS="-Djava.library.path=${HADOOP_HOME}/lib/"

但是在测试过程中，加入以上配置还是会提示告警信息，说明本地库未加载成功。

开启debug：

       export HADOOP_ROOT_LOGGER=DEBUG,console

       执行start-dfs.sh，发现以下日志：

       DEBUG util.NativeCodeLoader: Failed to load native-hadoop with error: java.lang.UnsatisfiedLinkError: no hadoop in java.library.path

从日志中可以看出hadoop库不在java.library.path所配置的目录下，应该是java.library.path配置的路径有问题。在hadoop-env.sh中重新配置：

export HADOOP_COMMON_LIB_NATIVE_DIR=${HADOOP_HOME}/lib/native

export HADOOP_OPTS="-Djava.library.path=${HADOOP_HOME}/lib/native/"

执行start-dfs.sh，告警信息不再显示。经测试，其实只需export HADOOP_OPTS即可解决问题。

验证本地库是否加载成功：hadoop checknative

15/08/18 10:31:17 INFO bzip2.Bzip2Factory: Successfully loaded & initialized native-bzip2 library system-native

15/08/18 10:31:17 INFO zlib.ZlibFactory: Successfully loaded & initialized native-zlib library

Native library checking:

hadoop: true /usr/local/hadoop-2.4.0/lib/native/libhadoop.so.1.0.0

zlib:   true /lib64/libz.so.1

snappy: true /usr/local/hadoop-2.4.0/lib/native/Linux-amd64-64/libsnappy.so.1

lz4:    true revision:99

bzip2:  true /lib64/libbz2.so.1

以上说明本地库已经加载成功。

安装snappy压缩配置可以参考以下两篇文章：

http://www.micmiu.com/bigdata/hadoop/hadoop-snappy-install-config/

http://www.cnblogs.com/shitouer/archive/2013/01/14/2859475.html

根据以上文章配置hbase的时候，建表的时候会卡住，且regionserver报错：IOException: Compression algorithm 'snappy' previously failed test

在网上搜了很多的文章，都是千篇一律的复制粘帖，始终无法解决以上问题。不过幸运的是，最后找到了这篇文章http://blackwing.iteye.com/blog/1943575，虽然描述上一直让我很费解，但是经过摸索最终还是解决了我的问题，非常感谢这位博主。最后配置hbase需要做的步骤：

1、把hadoop的本地库和snappy的本地库都拷贝到$HBASE_HOME/lib/native/Linux-amd64-64/目录下，如下截图：

2、在hbase-env.sh中添加以下配置：

export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:$HADOOP_HOME/lib/native/Linux-amd64-64/

export HBASE_LIBRARY_PATH=$HBASE_LIBRARY_PATH:$HBASE_HOME/lib/native/Linux-amd64-64/

希望对碰到同样问题的童鞋有点帮助

Hadoop的本地库（Native Libraries）及相关问题总结

Check

hadoop native本地库问题总结

猜你喜欢