全网第一人:CAUSED BY: NoClassDefFoundError: org/apache/hadoop/fs/adl/AdlFileSystem

这个问题坑了我整整三天,深恶痛绝,让我骂娘;以至于我单写一篇博客以泻心中怒火
问题如下:
impala创建表之后查询表:
Query: select * from sfmta_raw limit 10
Query submitted at: 2018-04-11 14:46:29 (Coordinator: http://mrj001:25000)
ERROR: AnalysisException: Failed to load metadata for table: 'sfmta_raw'
CAUSED BY: TableLoadingException: Failed to load metadata for table: test.sfmta_raw. Running 'invalidate metadata test.sfmta_raw' may resolve this problem.
CAUSED BY: NoClassDefFoundError: org/apache/hadoop/fs/adl/AdlFileSystem
CAUSED BY: ClassNotFoundException: org.apache.hadoop.fs.adl.AdlFileSystem
报错分析:
按照报错原因进行排查:
第一步:首先执行invalidate metadata test.sfmta_raw;发现错误依旧;
第二步:cd /usr/lib/impala/lib检查依赖,看是否有依赖没有引入;
第三步:检查/etc/impala/conf下面引入的core-site.xml是否有下面属性
        <property>
                <name>fs.AbstractFileSystem.adl.impl</name>
                <value>org.apache.hadoop.fs.adl.Adl</value>
        </property>
        <property>
                <name>fs.adl.impl</name>
                <value>org.apache.hadoop.fs.adl.AdlFileSystem</value>
        </property>
        如果没有,请添加;
第四步:检查环境变量,hadoop相关以及impala相关是否正确;
第五步:兄弟不要崩溃,继续看
    那么核心来了,检查你的hadoop版本所对应的API,我要告诉你,少年,你的hadoop压根没有这个类
    本人使用的环境版本:
    操作系统:Centos6.5
    hadoop:apache 2.7.1
    impala:2.10.0-cdh5.14.0

    本人使用了apache hadoop2.7.1,经过检查发现没有这个子类

 hadoop2.9.0版本有这个子类;问题终于找到


解决问题:

    不要说我靠,更新hadoop版本至2.9.0

    

     


猜你喜欢

转载自blog.csdn.net/m0_38003171/article/details/79899980
今日推荐