问题解决:Spark Unable to load native-hadoop library for your platform

软件版本

软件 版本
spark 2.4.0
hadoop 3.2.0
scala 2.11.8

问题场景

启动spark-shell的时候,有WARN提示,提示如下:

Unable to load native-hadoop library for your platform

原因

缺少对Hadooplib的引用。在环境变量里面进行设置即可。

解决方法

  1. 编辑 /etc/profile

    export LD_LIBRARY_PATH=$HADOOP_HOME/lib/native
    export  PATH=$PATH:$LD_LIBRARY_PATH
    
  2. 使环境变量生效

    source /etc/profile
    
  3. 测试
    在这里插入图片描述

发布了43 篇原创文章 · 获赞 4 · 访问量 2万+

猜你喜欢

转载自blog.csdn.net/u013084266/article/details/103566719
今日推荐