当前集群
| 主机名称 | IP地址 | 角色 | 统一安装目录 | 统一安装用户 |
| sht-sgmhadoopnn-01 | 172.16.101.55 | namenode,resourcemanager | /usr/local/hadoop(软连接) /usr/local/hadoop-2.7.4 /usr/local/zookeeper（软连接） /usr/local/zookeeper-3.4.9 |
root |
| sht-sgmhadoopnn-02 | 172.16.101.56 | namenode,resourcemanager | ||
| sht-sgmhadoopdn-01 | 172.16.101.58 | datanode,nodemanager,journalnode,zookeeper | ||
| sht-sgmhadoopdn-02 | 172.16.101.59 | datanode,nodemanager,journalnode,zookeeper | ||
| sht-sgmhadoopdn-03 | 172.16.101.60 | datanode,nodemanager,journalnode,zookeeper |
集群部署完成后增加datanode sht-sgmhadoopdn-04
部署参考 https://www.cnblogs.com/ilifeilong/p/10610993.html
1. 新datanode节点按照全新安装方式配置ssh无密码登录、系统变量、主机名解析、等
2.在namenode active节点sht-sgmhadoopnn-01修改配置文件
1）slaves
添加主机名sht-sgmhadoopdn-04至slaves文件
2）hdfs-site.xml
将dfs.replication参数值修改为4
3. 在namenode active节点sht-sgmhadoopnn-01将以上两个新修改的文件rsync到集群其他节点
# rsync -az --progress hdfs-site.xml root@172.16.101.56:/usr/local/hadoop/etc/hadoop/ # rsync -az --progress hdfs-site.xml root@172.16.101.58:/usr/local/hadoop/etc/hadoop/ # rsync -az --progress hdfs-site.xml root@172.16.101.59:/usr/local/hadoop/etc/hadoop/ # rsync -az --progress hdfs-site.xml root@172.16.101.60:/usr/local/hadoop/etc/hadoop/ # rsync -az --progress hdfs-site.xml root@172.16.101.66:/usr/local/hadoop/etc/hadoop/ # rsync -az --progress slaves root@172.16.101.56:/usr/local/hadoop/etc/hadoop/ # rsync -az --progress slaves root@172.16.101.58:/usr/local/hadoop/etc/hadoop/ # rsync -az --progress slaves root@172.16.101.59:/usr/local/hadoop/etc/hadoop/ # rsync -az --progress slaves root@172.16.101.60:/usr/local/hadoop/etc/hadoop/ # rsync -az --progress slaves root@172.16.101.66:/usr/local/hadoop/etc/hadoop/
4. 在namenode active节点sht-sgmhadoopnn-01将hadoop目录同步到新节点
# rsync -az --progress --exclude=data --exclude=logs /usr/local/hadoop-2.7.4 root@sht-sgmhadoopdn-04:/usr/local/
5. 在新节点上启动datanode和nodemanager角色
# hadoop-daemon.sh start datanode # yarn-daemon.sh start nodemanager
6. 在namenode和resourcemanager 的active节点或standby节点的WEB界面验证
http://172.16.101.55:50070/dfshealth.html#tab-datanode
http://172.16.101.55:8088/cluster/nodes
7.重新均衡集群datanode数据（建议在standby namenode节点操作）
# hdfs balancer -threshold 1
8. 修改hdfs集群中现有文件/目录的副本因子
现有的文件的备份系数仍是原来的值，hadoop并不会自动的按照新的备份系数调整，我们需要手动完成。
hdfs dfs -setrep -w 4 /
以上步骤在不重启hdfs集群下动态添加datanode节点 ，仍然建议在适当时重启hdfs集群。