Linux环境Hadoop启动服务遇到问题NameNode,DataNode无法启动

本文只讲解Linux环境Hadoop启动集群服务遇到NameNode无法启动或者DataNode无法启动问题

安装教程及其它问题可以在评论区留言

1、启动Hadoop集群的4个命令

[root@master local]# cd /usr/local/hadoop/bin

[root@master bin]# hdfs namenode -format

(出现Re-format filesystem in Storage Directory /usr/local/hadoop/tmp/dfs/name ? (Y or N) 
按Y)

2、启动/停止HDFS

在Hadoop的解压目录:/usr/local/hadoop/bin下存放启动、停止的所有脚本文件

命令:

[root@master bin]# start-dfs.sh

如果没有配置SSH免密码登录,登录过程中有三次要选择yes,然后输入密码

3、启动/停止YARN

[root@master bin]# start-yarn.sh

如果没有配置SSH免密码登录,登录过程中有一次要选择yes,然后输入密码

验证Hadoop是否配置并启动成功

查看启动进程方式

[root@master bin]# jps

d140fc01cc0f4d2bb5deb773467684bb.png

查看启动的进程中是否启动了以下5个进程:NameNode,SecondaryNamenode,DataNode、ResourceManager、NodeManager、jps

当不存在NameNode或DataNode时解决方法如下:

1、停止HDFS

在Hadoop的解压目录:/usr/local/hadoop/bin下存放启动、停止的所有脚本文件

[root@master bin]# stop-dfs.sh

如果没有配置SSH免密码登录,登录过程中有三次要选择yes,然后输入密码

2、停止YARN

[root@master bin]#stop-yarn.sh

如果没有配置SSH免密码登录,登录过程中有一次要选择yes,然后输入密码

3、查看Hadoop安装路径

[root@master local]# vi /usr/local/hadoop/etc/hadoop/hdfs-site.xml

(Hadoop的安装路径下的/hdfs-site.xml(我的安装路径是/usr/local/hadoop/))

<configuration>
<!-- 副本数 -->
   <property>
      <name>dfs.replication</name>
      <value>2</value>
   </property>
<!-- namenode元数据存储路径 -->
<property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/usr/local/hadoop/tmp/dfs/name</value>
</property>
<!-- 数据存储路径 -->
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/usr/local/hadoop/tmp/dfs/data</value>
    </property>
</configuration>

4、没有出现NameNode

进入/usr/local/hadoop/tmp/dfs,删除name文件夹(删除方法在后面)

下一步格式化

[root@master bin]# hdfs namenode -format

(出现Re-format filesystem in Storage Directory /usr/local/hadoop/tmp/dfs/name ? (Y or N) 
按Y)

启动/停止HDFS

在Hadoop的解压目录:/usr/local/hadoop/bin下存放启动、停止的所有脚本文件

[root@master bin]# start-dfs.sh

如果没有配置SSH免密码登录,登录过程中有三次要选择yes,然后输入密码

启动/停止YARN

[root@master bin]# start-yarn.sh

如果没有配置SSH免密码登录,登录过程中有一次要选择yes,然后输入密码

再输入jps查看是否出现NameNode

[root@master bin]# jps

 

没有出现DataNode

进入/usr/local/hadoop/tmp/dfs,删除data文件夹(删除方法在后面)

下一步格式化

[root@master bin]# hdfs namenode -format

(出现Re-format filesystem in Storage Directory /usr/local/hadoop/tmp/dfs/data ? (Y or N) 
按Y)

启动/停止HDFS

在Hadoop的解压目录:/usr/local/hadoop/bin下存放启动、停止的所有脚本文件

[root@master bin]# start-dfs.sh

如果没有配置SSH免密码登录,登录过程中有三次要选择yes,然后输入密码

启动/停止YARN

[root@master bin]# start-yarn.sh

如果没有配置SSH免密码登录,登录过程中有一次要选择yes,然后输入密码

再输入jps查看是否出现DataNode

[root@master bin]# jps

--------------------------------------------------------------------------------------

删除方法:

1、通过命令行

[root@master bin]# rm -rf /usr/local/hadoop/tmp/dfs/name

[root@master bin]# rm -rf /usr/local/hadoop/tmp/dfs/data

2、通过xftp

(连接Linux,如何连接自行百度或者评论区留言)

bc7a99389c424b91975b4ffa54915d8c.png

右键删除

问题解决,谢谢观看

文章最后,感谢我的Hadoop大数据技术课程的杨老师,本人愚昧,本文思路全部起源于她

谢谢观看