完全分布式集群群起

群起的ssh准备

群起的本质是由主节点调用子节点启动，此时，需要预先准备ssh设置免密登录

在这里插入图片描述

以下操作使用dev1账户操作

1. 配置ssh

（1）基本语法
ssh另一台电脑的ip地址
（2）ssh连接时出现Host key verification failed的解决方法

ssh 192.168.1.103

The authenticity of host '192.168.1.103 (192.168.1.103)' can't be established.
RSA key fingerprint is cf:1e:de:d7:d0:4c:2d:98:60:b4:fd:ae:b1:2d:ad:06.
Are you sure you want to continue connecting (yes/no)? 
Host key verification failed.

（3）解决方案如下：直接输入yes

2. 无密钥配置

（1）免密登录原理
（2）生成公钥和私钥：

 ssh-keygen -t rsa

然后敲（三个回车），就会生成两个文件id_rsa（私钥）、id_rsa.pub（公钥）
（3）将公钥拷贝到要免密登录的目标机器上

ssh-copy-id hadoop102
ssh-copy-id hadoop103
ssh-copy-id hadoop104

注意：还需要在hadoop103上采用dev1账号，配置一下无密登录到hadoop102、hadoop103、hadoop104；还需要在hadoop104上采用dev1 账号配置一下无密登录到hadoop102、hadoop103、hadoop104服务器上。

3 .ssh文件夹下（~/.ssh）的文件功能解释

在这里插入图片描述

群起集群

以下操作使用dev1账户操作

1. 配置slaves

cd /opt/module/hadoop-2.7.2/etc/hadoop

使用vim 或者notepad++编辑 slaves

vim slaves

在该文件中增加如下内容：

扫描二维码关注公众号，回复： 12915945 查看本文章

hadoop102
hadoop103
hadoop104

注意：1：该文件中添加的内容结尾不允许有空格，文件中不允许有空行。
2：所有的主机名都可以被ping通

同步所有节点配置文件

 Mysync slaves

2. 启动集群

（1）群启前的注意事项：
因为前面在单点起动时已格式化过了，此处为保险起见。
执行删除每台节点上的 data,logs的数据

rm -rf /opt/module/hadoop-2.7.2/data/
rm -rf /opt/module/hadoop-2.7.2/logs/

删除完之后在hadoop102上格式化NameNode

在hadoop102

 bin/hdfs namenode -format

（2）启动HDFS

在hadoop102

sbin/start-dfs.sh
jps

在hadoop103

jps

在hadoop104

jps

（3）启动YARN
在hadoop103

 sbin/start-yarn.sh

注意：NameNode和ResourceManger如果不是同一台机器，不能在NameNode上启动 YARN，应该在ResouceManager所在的机器上启动YARN。

（4）Web端查看SecondaryNameNode
（a）浏览器中输入：http://hadoop104:50090/status.html
（b）查看SecondaryNameNode信息