Ubuntu Hadoop 查错方式

经过几次Hadoop集群的搭建,发现了各种各样的问题,已经不是光记录就能够解决的了。我学习到了2种查错方式,在这里和大家分享

第一种:

在开启的时候不是会爆出一堆英文吗?就想下面这样

(本代码的具体细节不用管,主要是查错方法)
root@master:/home/had_user/local/hadoop-2.7.4/logs# start-all.sh 
This script is Deprecated. Instead use start-dfs.sh and start-yarn.sh
Starting namenodes on [localhost]
localhost: starting namenode, logging to /home/had_user/local/hadoop-2.7.4/logs/hadoop-root-namenode-master.out
slave2: starting datanode, logging to /home/had_user/local/hadoop-2.7.4/logs/hadoop-root-datanode-slave2.out
slave1: starting datanode, logging to /home/had_user/local/hadoop-2.7.4/logs/hadoop-root-datanode-slave1.out
master: starting datanode, logging to /home/had_user/local/hadoop-2.7.4/logs/hadoop-root-datanode-master.out
localhost: starting datanode, logging to /home/had_user/local/hadoop-2.7.4/logs/hadoop-root-datanode-master.out

(我这个已经没有错误了)像有的错误,在代码运行的时候会直接显示出来,这种是不可忽视的错误,属于严重一点的,而且也是方便查找的。

第二种:

如果你发现开启的时候没有namenode、或者datanode之类的或者其他错误,但是又搜不到答案,尝试进log日志里面去看报错。

(里面但凡是log的都可以去查看)
root@master:/home/had_user/local/hadoop-2.7.4/logs# ls
hadoop-root-datanode-master.log
hadoop-root-datanode-master.out
hadoop-root-datanode-master.out.1
hadoop-root-datanode-master.out.2
hadoop-root-datanode-master.out.3
hadoop-root-datanode-master.out.4
hadoop-root-namenode-master.log
hadoop-root-namenode-master.out
hadoop-root-namenode-master.out.1
hadoop-root-namenode-master.out.2
hadoop-root-secondarynamenode-master.log
hadoop-root-secondarynamenode-master.out
hadoop-root-secondarynamenode-master.out.1
hadoop-root-secondarynamenode-master.out.2
SecurityAuth-root.audit
userlogs
yarn-root-nodemanager-master.log
yarn-root-nodemanager-master.out
yarn-root-resourcemanager-master.log
yarn-root-resourcemanager-master.out

总结一下,搜问题的时候不要局部搜索,把整段抛出异常的部分复制粘贴到网上,否则有的时候就会像我刚开始一样(自己也不懂,网上直接搜报错的地方,结果发现就是瞎改,改到最后只能重装)(因为很多错误抛出的异常时相同名字的,网上的大部分网友只是根据自己出现问题去解决,要学会分辨)

举例:

开启Hadoop的时候,发现没有namenode,于是我就上网上直接搜’‘什么开启Hadoop jps 没有namenode’'之类的话,然后发现各种各样的答案。
结果怎么也没解决,后来有篇文章让我查看logs日志,我就去试了下,将错误代码直接复制粘贴(查看未启动的原因),然后直接解决。

2020-02-19 19:55:34,840 ERROR org.apache.hadoop.hdfs.server.namenode.NameNode: Failed to start namenode.org.apache.hadoop.hdfs.server.common.InconsistentFSStateException: Directory /tmp/hadoop-hadoop/dfs/name is in an inconsistent state: storage directory does not exist or is not accessible.

猜你喜欢

转载自blog.csdn.net/qq_29680161/article/details/104754456