软件版本
软件 | 版本 |
---|---|
spark | 2.4.0 |
hadoop | 3.2.0 |
scala | 2.11.8 |
问题场景
启动spark-shell
的时候,有WARN
提示,提示如下:
Unable to load native-hadoop library for your platform
原因
缺少对Hadoop
的lib
的引用。在环境变量里面进行设置即可。
解决方法
-
编辑
/etc/profile
export LD_LIBRARY_PATH=$HADOOP_HOME/lib/native export PATH=$PATH:$LD_LIBRARY_PATH
-
使环境变量生效
source /etc/profile
-
测试