Hadoop集群连接报错(以及tmp目录的设置)

此问题用于解决此次异常之前集群是正常工作的情况下可参考,若不是则需要重新查看Hadoop的各个配置文件

问题1:

在这里插入图片描述

经过查找,解决办法:

查看集群是否启动?:
在这里插入图片描述
集群关闭常出现在学习过程中,因为每天我们需要电脑关机,当我们的物理机关闭后,那么虚拟机里面的集群也会随之关闭,在我们下次使用集群前输入命令就会报错,所以我们需要重新启动namenode和datanode

注:第一次格式化namanode后,不要总是每次启动后就格式化namenode。最好直接启动namenode和datanode。


问题2 :

namenode在第一启动后,以及datanode第一次启动后,集群之间的联系通过产生的特定ID 来识别对方,但集群关闭后,第二次启动后,会有文件残留,可以通过 bin/hdfs namenode -format(或者hadoop namenode -format)对namenode进行格式化,则会重新产生一个新的namenode文件(ID),这就会导致以前的datanode不再认识新的namenode(ID换了),因为只是格式化了namenode没有更改datanode,导致集群无法启动

解决办法:必须在格式化namenode前,删除datanode里面的信息(默认存在根目录下(/)的/tmp中(如图),如果自己重新配置了存放目录,那就要去自自己配置的目录下删除即可,一般把该目录配置在hadoop安装目录下新建一个/data/tmp目录,用来存放datanode信息)

在这里插入图片描述
查看tmp中的hadoop日志
在这里插入图片描述

猜你喜欢

转载自blog.csdn.net/yhblog/article/details/83987241
今日推荐