集群中添加新数据节点和删除旧数据节点节点步骤详解

1.添加节点

新节点的准备工作:

第一步:复制一台新的虚拟机出来
将我们纯净的虚拟机复制一台出来,作为我们新的节点		
第二步:修改mac地址以及IP地址
修改mac地址命令
vim /etc/udev/rules.d/70-persistent-net.rules
修改ip地址命令
vim /etc/sysconfig/network-scripts/ifcfg-eth0

第三步:关闭防火墙,关闭selinux
关闭防火墙
service iptables stop
关闭selinux
vim /etc/selinux/config

第四步:更改主机名
更改主机名命令
vim /etc/sysconfig/network
第五步:四台机器更改主机名与IP地址映射
四台机器都要添加hosts文件
vim /etc/hosts

192.168.52.100 node01.Hadoop.com  node01
192.168.52.110 node02.Hadoop.com  node02
192.168.52.120 node03.Hadoop.com  node03
192.168.52.130 node04.Hadoop.com  node04

第六步:node04服务器关机重启并生成公钥与私钥
node04执行以下命令关机重启
reboot 

node04执行以下命令生成公钥与私钥
ssh-keygen -t  rsa

node04执行以下命令将node04的私钥拷贝到node01服务器
ssh-copy-id  node01
node01执行以下命令,将authorized_keys拷贝给node04
cd /root/.ssh/

scp authorized_keys  node04:$PWD
第七步:node04安装jdk
node04统一两个路径
mkdir -p /export/softwares/
mkdir -p /export/servers/
然后解压jdk安装包,配置环境变量,或将集群中的java安装目录拷贝一份,并配置环境变量。
第八步:解压Hadoop安装包
在node04服务器上面解压Hadoop安装包到/export/servers
node01执行以下命令将Hadoop安装包拷贝到node04服务器
cd /export/softwares/
scp hadoop-2.6.0-cdh5.14.0-自己编译后的版本.tar.gz node04:$PWD
第九步:将node01关于Hadoop的配置文件全部拷贝到node04
node01执行以下命令,将Hadoop的配置文件全部拷贝到node04服务器上面
cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/
scp ./* node04:$PWD

配置新节点步骤

1.主节点和子节点上配置白名单dfs.hosts文件 将节点名添加到文件中
cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop
touch dfs.hosts
vim dfs.hosts
2.主节点配置hdfs-site文件
命令:cd /export/servers/hadoop/etc/hadoop
       vi hdfs-site/xml
 	添加配置信息:
	  <property>
           			 <name>dfs.hosts</name>
            		<value>/export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/dfs.hosts</value>
    		  </property>
3.第三步:刷新namenode
命令:(主节点下执行)hdfs dfsadmin -refreshNodes 
4.更新resourceManager节点
命令:(主节点下执行)yarn rmadmin -refreshNodes
5.修改namenode下的slaves文件 -- 不需要分发到其他节点
执行以下命令编辑slaves文件 -- 添加主机名
cd /export/servers/Hadoop-2.6.0-cdh5.14.0/etc/Hadoop
vim slaves
6.启动新节点,打开服务
命令:
cd /export/servers/hadoop-2.6.0-cdh5.14.0/
sbin/hadoop-daemon.sh start datanode
sbin/yarn-daemon.sh start nodemanager
7.浏览器查看
http://node01:50070/dfshealth.html#tab-overview

http://node01:8088/cluster
 8.负载均衡 --可以不用--
主节点执行以下命令:
cd /export/servers/hadoop-2.6.0-cdh5.14.0/
sbin/start-balancer.sh

2.删除旧数据节点

第一步:创建dfs.hosts.exclude配置文件
主节点执行以下命令
cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop
touch dfs.hosts.exclude
vim dfs.hosts.exclude
-- 添加退役节点名字 -- 
第二步:编辑namenode所在机器的hdfs-site.xml
命令:
cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop
vim hdfs-site.xml
配置信息:
<property>
            <name>dfs.hosts.exclude</name>
            <value>/export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/dfs.hosts.exclude</value>
    	</property>
第三步:刷新namenode,刷新resourceManager
在namenode所在的机器执行以下命令,刷新namenode,刷新resourceManager
hdfs dfsadmin -refreshNodes
yarn rmadmin -refreshNodes
第四步:查看web浏览界面
浏览器访问
http://node01:50070/dfshealth.html#tab-datanode
-- 看到被退役节点上的节点有红色禁止符号表示节点退役完成 -- 
第五步:节点退役完成,停止该节点进程
node01执行以下命令,停止该节点进程
cd /export/servers/hadoop-2.6.0-cdh5.14.0
sbin/hadoop-daemon.sh stop datanode
sbin/yarn-daemon.sh stop nodemanager
!-- 等待退役节点状态为decommissioned(所有块已经复制完成),停止该节点及节点资源管理器。注意:如果副本数是3,服役的节点小于等于3,是不能退役成功的,需要修改副本数后才能退役。·--
第六步:从include文件中删除退役节点
namenode所在节点也就是node01执行以下命令删除退役节点
	cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop
	vim dfs.hosts
namenode所在节点也就是node01执行以下命令刷新namenode和resourceManager
	hdfs dfsadmin -refreshNodes
	yarn rmadmin -refreshNodes
第七步:从namenode的slave文件中删除退役节点
	namenode所在机器也就是node01执行以下命令从slaves文件中删除退役节点
		cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop
		vim slaves
第八步:如果数据负载不均衡,执行以下命令进行均衡负载
node01执行以下命令进行均衡负载
cd /export/servers/hadoop-2.6.0-cdh5.14.0/
sbin/start-balancer.sh
发布了56 篇原创文章 · 获赞 561 · 访问量 2万+

猜你喜欢

转载自blog.csdn.net/CZXY18ji/article/details/103156074
今日推荐