HDFS新增节点与删除节点(一)

服役新数据节点

需求基础:

随着公司业务的增长,数据量越来越大,原有的数据节点的容量已经不能满足存储数据的需求,需要在原有集群基础上动态添加新的数据节点。

准备新节点:

第一步:复制一台新的虚拟机出来:

第二步:修改mac地址以及IP地址:

修改mac地址命令

vim /etc/udev/rules.d/70-persistent-net.rules

修改ip地址命令

vim /etc/sysconfig/network-scripts/ifcfg-eth0

第三步:关闭防火墙,关闭selinux:

关闭防火墙

service iptables stop

关闭selinux

vim /etc/selinux/config

第四步:更改主机名:

更改主机名命令

vim /etc/sysconfig/network

第五步:四台机器更改主机名与IP地址映射:

四台机器都要添加hosts文件

vim /etc/hosts

在这里插入图片描述

第六步:node04服务器关机重启并生成公钥与私钥:

node04执行以下命令关机重启

reboot

node04执行以下命令生成公钥与私钥

ssh-keygen -t  rsa

node04执行以下命令将node04的私钥拷贝到node01服务器

ssh-copy-id  node01

node01执行以下命令,将authorized_keys拷贝给node04

cd /root/.ssh/
scp authorized_keys  node04:$PWD

第七步:node04安装jdk:

node04统一两个路径

mkdir -p /export/softwares/

mkdir -p /export/servers/

然后解压jdk安装包,配置环境变量,或将集群中的java安装目录拷贝一份,并配置环境变量。

第八步:解压Hadoop安装包:

在node04服务器上面解压Hadoop安装包到/export/servers

node01执行以下命令将Hadoop安装包拷贝到node04服务器

第九步:将node01关于Hadoop的配置文件全部拷贝到node04:

node01执行以下命令,将Hadoop的配置文件全部拷贝到node04服务器上面

cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/

scp ./* node04:$PWD

服役新节点具体步骤:

第一步:创建dfs.hosts文件:

在node01也就是namenode所在的机器的/export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop目录下创建dfs.hosts文件

[root@node01 Hadoop]# cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop
[root@node01 Hadoop]# touch dfs.hosts
[root@node01 Hadoop]# vim dfs.hosts

添加你自己的主机名称(包含新服役的节点)

在这里插入图片描述

第二步:node01编辑hdfs-site.xml添加以下配置:

在namenode的hdfs-site.xml配置文件中增加dfs.hosts属性

node01执行以下命令

cd /export/servers/Hadoop-2.6.0-cdh5.14.0/etc/Hadoop

vim hdfs-site.xml

在文件内添加下列代码:

<property>
            <name>dfs.hosts</name>
            <value>/export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/dfs.hosts</value>
 </property>

第三步:刷新namenode:

node01执行以下命令刷新namenode


[root@node01 Hadoop]# hdfs dfsadmin -refreshNodes    
刷新成功的话会显示如下代码:在这里插入代码片

Refresh nodes successful

第四步:更新resourceManager节点:

node01执行以下命令刷新resourceManager

[root@node01 Hadoop]# yarn rmadmin -refreshNodes

刷新成功的话会显示如下代码:

19/03/16 11:19:47 INFO client.RMProxy: Connecting to ResourceManager at node01/192.168.52.100:8033

第五步:namenode的slaves文件增加新服务节点主机名称:

node01编辑slaves文件,并添加新增节点的主机,更改完后,slaves文件不需要分发到其他机器上面去

node01执行以下命令编辑slaves文件

cd /export/servers/Hadoop-2.6.0-cdh5.14.0/etc/Hadoop

vim slaves

在这里插入图片描述

第六步:单独启动新增节点:

node04服务器执行以下命令,启动datanode和nodemanager

cd /export/servers/hadoop-2.6.0-cdh5.14.0/

sbin/hadoop-daemon.sh start datanode

sbin/yarn-daemon.sh start nodemanager

第七步:浏览器查看:
在这里插入图片描述

第八步:使用负载均衡命令,让数据均匀负载所有机器:

node01执行以下命令

cd /export/servers/hadoop-2.6.0-cdh5.14.0/

sbin/start-balancer.sh
发布了13 篇原创文章 · 获赞 30 · 访问量 1549

猜你喜欢

转载自blog.csdn.net/weixin_45746679/article/details/102943237