hadoop datanode 无法启动之 namenode ID 不一致解决办法。

如何验证集群namenode  ID和datanode  ID 一致

首先

我们将文件存在/usr/local/hadoop_tmp/hdfs目录下

新建datanode和name node 文件夹,并使用hadoop namenode  -format或hdfsnamenode  -format(这个命令执行文件在/usr/local/hadoop/sbin)目录下。第一次使用会在NameNode目录和datanode目录下产生一个Version文件 该文件包含cluster ID

$ cat VERSION 

这里要确保的是集群中每个datanode中的VERSION与这个相同

需要注意的是:多次使用hadoop namenode  -format 命令时,只是格式化了NameNode中的VERSION ,datanode中的Version 还是第一次产生的。最好是将hadoop_tmp文件夹删了,然后新建文件夹,重新使用hadoop namenode  -format。同时也可以直接将nameNode中的Version 复制到 datanode目录下。

最后

使用下列命令将hadoop_tmp文件夹更新到从机

sudo  rsync  -avxP /usr/local/hadoop_tmp  hadoop@slave01:/usr/local/hadoop_tmp 

*这里我们将数据存放在hadoop_tmp文件夹中

猜你喜欢

转载自blog.csdn.net/u013741019/article/details/51154104