hadoop搭建全分布式集群-虚拟机
一、本次搭建环境说明
VMware Fusion
master：ubuntu16.04 64位 ip:172.16.29.11
slave1：ubuntu16.04 64位 ip:172.16.29.12
slave1：ubuntu16.04 64位 ip:172.16.29.13
jdk9.0.4
hadoop2.8.1
二、jdk、hadoop安装部署
参见上篇博文：http://blog.csdn.net/apple9005/article/details/79579771
主机hadoop按上篇博文配置完成后，直接将hadoop文件夹打包发送至各从机，主从使用同一套配置。
分析：
dfs.nameservices：在一个全分布式集群大众集群当中这个的value要相同
dfs.replication：因为hadoop是具有可靠性的，它会备份多个文本，这里value就是指备份的数量（小于等于从节点的数量）
一个问题：
dfs.datanode.data.dir：当使用的这个的时候从节点起不来。当改成fs.datanode.data.dir就有用了。
三、修改各机的hostname和hosts文件
1.修改hostname
> vi /etc/hostname把master机的hostname文件内容修改为：
hadoop11把slave1机的hostname文件内容修改为hadoop12
把slave2机的hostname文件内容修改为hadoop13
2.修改hosts
> vi /etc/hosts在master、slave1、slave2机的hosts文件中添加以下内容：
172.16.29.11 hadoop11
172.16.29.12 hadoop12
172.16.29.13 hadoop13四、SSH免密登录设置
此步操作是为第六步服务
在master机创建密钥文件：
> ssh-keygen -t rsa将公钥拷贝到其它机器上，实现免密码登录
> ssh-copy-id hadoop11 # master本机也要免密登录
> ssh-copy-id hadoop12 # slave1
> ssh-copy-id hadoop13 # slave2五、全分布式集群搭建测试
HDFS集群的启动/关闭命令:
hadoop-daemon.sh start/stop namenode # 名字节点（在master执行）
hadoop-daemon.sh start/stop secondarynamenode # 第二名字节点（在master执行）
hadoop-daemon.sh start/stop datanode # 数据节点（在slave1、slave2执行）YARN集群的启动/关闭命令：
yarn-daemon.sh start/stop resourcemanager # 资源管理器（在master执行）
yarn-daemon.sh start/stop nodemanager # 节点管理器（在slave1、slave2执行）MR作业日志服务器的启动/关闭命令：
mr-jobhistory-daemon.sh start/stop historyserver #（在master执行）名字节点、资源管理器：这是在主节点中启动或关闭的。
数据节点、节点管理器：这是在从节点中启动或关闭的。
MR作业日志管理器：这是在主节点中启动或关闭的。
执行以上命令后，可在各机执行jps查看各服务启动情况。
监控平台：
HDFS集群：
http://172.16.29.11:50070
YARN集群：
http://172.16.29.11:8088
MR作业日志服务器：
http://172.16.29.11:19888
六、Hadoop全分布式集群配置免密登录实现主节点控制从节点
在master机配置slaves:
> vi /opt/hadoop/etc/hadoop/slaves删掉slaves中原有的内容，然后配置上所有从节点的主机名:
hadoop12
hadoop13注意：
这样配置的前提是主节点要能免密登录到从节点中；
当你去执行start-dfs.sh时，它会去slaves文件中去找从节点（这就是配置免密登录的原因）；
然后去启动从节点。同时自己也需要做免密登录也就是说要自己对自己做免密登录。
配置这个是为了实现主节点管理（开启和关闭）从节点的功能：
启动/关闭HDFS集群：
start-dfs.sh/stop-dfs.sh启动/关闭YARN集群：
start-yarn.sh/stop-yarn.sh我们只需要在主节点中使用start-dfs.sh/stop-dfs.sh就能开启或关闭namenode和所有的datanode，使用start-yarn.sh/stop-yarn.sh就能开启或关闭resourcemanager和所有的nodemanager。
参考博文：
https://www.linuxidc.com/Linux/2017-03/142051.htm
http://www.cnblogs.com/zhangyinhua/p/7652686.html