本文只讲解Linux环境Hadoop启动集群服务遇到NameNode无法启动或者DataNode无法启动问题
安装教程及其它问题可以在评论区留言
1、启动Hadoop集群的4个命令
[root@master local]# cd /usr/local/hadoop/bin
[root@master bin]# hdfs namenode -format
(出现Re-format filesystem in Storage Directory /usr/local/hadoop/tmp/dfs/name ? (Y or N)
按Y)
2、启动/停止HDFS
在Hadoop的解压目录:/usr/local/hadoop/bin下存放启动、停止的所有脚本文件
命令:
[root@master bin]# start-dfs.sh
如果没有配置SSH免密码登录,登录过程中有三次要选择yes,然后输入密码
3、启动/停止YARN
[root@master bin]# start-yarn.sh
如果没有配置SSH免密码登录,登录过程中有一次要选择yes,然后输入密码
验证Hadoop是否配置并启动成功
查看启动进程方式
[root@master bin]# jps
查看启动的进程中是否启动了以下5个进程:NameNode,SecondaryNamenode,DataNode、ResourceManager、NodeManager、jps
当不存在NameNode或DataNode时解决方法如下:
1、停止HDFS
在Hadoop的解压目录:/usr/local/hadoop/bin下存放启动、停止的所有脚本文件
[root@master bin]# stop-dfs.sh
如果没有配置SSH免密码登录,登录过程中有三次要选择yes,然后输入密码
2、停止YARN
[root@master bin]#stop-yarn.sh
如果没有配置SSH免密码登录,登录过程中有一次要选择yes,然后输入密码
3、查看Hadoop安装路径
[root@master local]# vi /usr/local/hadoop/etc/hadoop/hdfs-site.xml
(Hadoop的安装路径下的/hdfs-site.xml(我的安装路径是/usr/local/hadoop/))
<configuration>
<!-- 副本数 -->
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<!-- namenode元数据存储路径 -->
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/usr/local/hadoop/tmp/dfs/name</value>
</property>
<!-- 数据存储路径 -->
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/usr/local/hadoop/tmp/dfs/data</value>
</property>
</configuration>
4、没有出现NameNode
进入/usr/local/hadoop/tmp/dfs,删除name文件夹(删除方法在后面)
下一步格式化
[root@master bin]# hdfs namenode -format
(出现Re-format filesystem in Storage Directory /usr/local/hadoop/tmp/dfs/name ? (Y or N)
按Y)
启动/停止HDFS
在Hadoop的解压目录:/usr/local/hadoop/bin下存放启动、停止的所有脚本文件
[root@master bin]# start-dfs.sh
如果没有配置SSH免密码登录,登录过程中有三次要选择yes,然后输入密码
启动/停止YARN
[root@master bin]# start-yarn.sh
如果没有配置SSH免密码登录,登录过程中有一次要选择yes,然后输入密码
再输入jps查看是否出现NameNode
[root@master bin]# jps
没有出现DataNode
进入/usr/local/hadoop/tmp/dfs,删除data文件夹(删除方法在后面)
下一步格式化
[root@master bin]# hdfs namenode -format
(出现Re-format filesystem in Storage Directory /usr/local/hadoop/tmp/dfs/data ? (Y or N)
按Y)
启动/停止HDFS
在Hadoop的解压目录:/usr/local/hadoop/bin下存放启动、停止的所有脚本文件
[root@master bin]# start-dfs.sh
如果没有配置SSH免密码登录,登录过程中有三次要选择yes,然后输入密码
启动/停止YARN
[root@master bin]# start-yarn.sh
如果没有配置SSH免密码登录,登录过程中有一次要选择yes,然后输入密码
再输入jps查看是否出现DataNode
[root@master bin]# jps
--------------------------------------------------------------------------------------
删除方法:
1、通过命令行
[root@master bin]# rm -rf /usr/local/hadoop/tmp/dfs/name
[root@master bin]# rm -rf /usr/local/hadoop/tmp/dfs/data
2、通过xftp
(连接Linux,如何连接自行百度或者评论区留言)
右键删除
问题解决,谢谢观看
文章最后,感谢我的Hadoop大数据技术课程的杨老师,本人愚昧,本文思路全部起源于她
谢谢观看