hadoop完全分布式运行模式---SSH无密登录配置,群起集群,集群启动/停止方式总结

SSH无密登录配置

配置ssh

1. 基本语法
   ssh 另一台电脑的ip地址
2. ssh连接时出现Host key verification failed的解决方法

[liujh@hadoop102 opt] $ ssh 192.168.1.103
The authenticity of host '192.168.1.103 (192.168.1.103)' can't be established.
RSA key fingerprint is cf:1e:de:d7:d0:4c:2d:98:60:b4:fd:ae:b1:2d:ad:06.
Are you sure you want to continue connecting (yes/no)?
Host key verification failed.

直接输入yes

无密钥配置

1. 免密登录原理
   
2. 生成公钥和私钥

[liujh@hadoop102 .ssh]$ ssh-keygen -t rsa

然后敲（三个回车），就会生成两个文件id_rsa（私钥）、id_rsa.pub（公钥）
3. 将公钥拷贝到要免密登录的目标机器上

[liujh@hadoop102 .ssh]$ ssh-copy-id hadoop102
[liujh@hadoop102 .ssh]$ ssh-copy-id hadoop103
[liujh@hadoop102 .ssh]$ ssh-copy-id hadoop104

注意：
还需要在hadoop102上采用root账号，配置一下无密登录到hadoop102、hadoop103、hadoop104；
还需要在hadoop103上采用liujh账号配置一下无密登录到hadoop102、hadoop103、hadoop104服务器上。

.ssh文件夹下（~/.ssh）的文件功能解释

known_hosts	记录ssh访问过计算机的公钥(public key)
id_rsa	生成的私钥
id_rsa.pub	生成的公钥
authorized_keys	存放授权过得无密登录服务器公钥

群起集群

配置slaves

/opt/module/hadoop-2.7.2/etc/hadoop/slaves
[liujh@hadoop102 hadoop]$ vi slaves
在该文件中增加如下内容：
hadoop102
hadoop103
hadoop104

注意：该文件中添加的内容结尾不允许有空格，文件中不允许有空行。
同步所有节点配置文件

[liujh@hadoop102 hadoop]$ xsync slaves

启动集群

1. 如果集群是第一次启动，需要格式化NameNode（注意格式化之前，一定要先停止上次启动的所有namenode和datanode进程，然后再删除data和log数据）

[liujh@hadoop102 hadoop-2.7.2]$ bin/hdfs namenode -format

2. 启动HDFS

[liujh@hadoop102 hadoop-2.7.2]$ sbin/start-dfs.sh
[liujh@hadoop102 hadoop-2.7.2]$ jps
4166 NameNode
4482 Jps
4263 DataNode
[liujh@hadoop103 hadoop-2.7.2]$ jps
3218 DataNode
3288 Jps
[liujh@hadoop104 hadoop-2.7.2]$ jps
3221 DataNode
3283 SecondaryNameNode
3364 Jps

3. 启动YARN

[liujh@hadoop103 hadoop-2.7.2]$ sbin/start-yarn.sh

注意：NameNode和ResourceManger如果不是同一台机器，不能在NameNode上启动 YARN，应该在ResouceManager所在的机器上启动YARN

4. Web端查看SecondaryNameNode
   （1）浏览器中输入：http://hadoop104:50090/status.html
   （2）查看SecondaryNameNode信息

集群基本测试

1. 上传文件到集群
   上传小文件

[liujh@hadoop102 hadoop-2.7.2]$ hdfs dfs -mkdir -p /user/liujh/input
[liujh@hadoop102 hadoop-2.7.2]$ hdfs dfs -put wcinput/wc.input /user/liujh/input

上传大文件

[liujh@hadoop102 hadoop-2.7.2]$ bin/hadoop fs -put /opt/software/hadoop-2.7.2.tar.gz  /user/liujh/input

2. 上传文件后查看文件存放在什么位置
   （1）查看HDFS文件存储路径

[liujh@hadoop102 subdir0]$ pwd
/opt/module/hadoop-2.7.2/data/tmp/dfs/data/current/BP-938951106-192.168.10.107-1495462844069/current/finalized/subdir0/subdir0

（2）查看HDFS在磁盘存储文件内容

[liujh@hadoop102 subdir0]$ cat blk_1073741825
hadoop yarn
hadoop mapreduce 
liujh
liujh

3. 拼接

-rw-rw-r--. 1 liujh liujh 134217728 5月  23 16:01 blk_1073741836
-rw-rw-r--. 1 liujh liujh 1048583 5月  23 16:01 blk_1073741836_1012.meta
-rw-rw-r--. 1 liujh liujh 63439959 5月  23 16:01 blk_1073741837
-rw-rw-r--. 1 liujh liujh 495635 5月  23 16:01 blk_1073741837_1013.meta

[liujh@hadoop102 subdir0]$ cat blk_1073741836>>tmp.file
[liujh@hadoop102 subdir0]$ cat blk_1073741837>>tmp.file
[liujh@hadoop102 subdir0]$ tar -zxvf tmp.file

4. 下载

[liujh@hadoop102 hadoop-2.7.2]$ bin/hadoop fs -get  /user/liujh/input/hadoop-2.7.2.tar.gz ./

集群启动/停止方式总结

各个服务组件逐一启动/停止

1. 分别启动/停止HDFS组件

hadoop-daemon.sh  start | stop  namenode | datanode | secondarynamenode

2. 启动/停止YARN

yarn-daemon.sh  start | stop  resourcemanager | nodemanager

各个模块分开启动/停止（配置ssh是前提）常用

1. 整体启动/停止HDFS

start-dfs.sh  |  stop-dfs.sh

2. 整体启动/停止YARN

start-yarn.sh  |  stop-yarn.sh

简书：https://www.jianshu.com/u/0278602aea1d
CSDN：https://blog.csdn.net/u012387141
特别感谢：尚硅谷教育