hadoop及hbase集群增加节点

老的集群服务器:

192.168.11.131 master1

192.168.11.132 master2

192.168.11.133 slave1

192.168.11.134 slave2

192.168.11.135 slave3


新加入的节点:

192.168.11.136 slave4

192.168.11.137 slave5


一、hadoop扩容

1、配置各节点hosts文件,加入新加入的两个节点的IP和主机名

新添加的节点添加下面内容

192.168.11.131 master1

192.168.11.132 master2

192.168.11.133 slave1

192.168.11.134 slave2

192.168.11.135 slave3


新节点互相加入对方的主机名解析


老的节点添加下面内容

192.168.11.136 slave4

192.168.11.137 slave5


2、准备工作

参照之前的博客生产环境下hadoop HA集群及Hbase HA集群配置 为新添加的节点做以下操作:

配置主机名

关闭防火墙和selinux

配置yum源

配置时间同步(作为ntp服务客户端)

创建组和用户

创建目录

无密码登陆

配置java环境


3、修改hadoop配置文件并拷贝hadoop文件

登录master1节点

$ cd /data1/usr/hadoop-2.7.3/etc/hadoop

$ vi slaves

添加新加入的节点信息

slave4

slave5


$ for ip in 2 3 4 5;do scp /data1/usr/hadoop-2.7.3/etc/hadoop/slaves 192.168.11.13$ip:/data1/usr/hadoop-2.7.3/etc/hadoop/;done


拷贝hadoop文件到新节点

$ scp -rpq /data1/usr/hadoop-2.7.3 hduser@slave4:/data1/usr

$ scp -rpq /data1/usr/hadoop-2.7.3 hduser@slave5:/data1/usr


4、清空日志

登录到新添加的服务器

$ cd /data1/usr/hadoop-2.7.3/logs

$ rm *.log.*

$ rm *.out.*

$ for i in `find . -name "*.log" -o -name "*.out"`;do cat /dev/null >$i;done


删除其他项目和文件

对比datanode老的节点,把/data1/usr/hadoop-2.7.3下多余的文件和目录删除。


5、启动服务

分别登陆新节点,启动datanode

$ cd /data1/usr/hadoop-2.7.3/sbin

$ ./hadoop-daemon.sh start datanode


登陆master1节点,刷新datanode列表

$ cd /data1/usr/hadoop-2.7.3/bin

$ ./hdfs dfsadmin -refreshNodes


查看列表信息

$ ./hdfs dfsadmin -report


8、对hdfs负载均衡

$ cd /data1/usr/hadoop-2.7.3/sbin

$ ./start-balancer.sh 

启动yarn

$ cd /data1/usr/hadoop-2.7.3/sbin

$ ./yarn-daemon.sh start nodemanager   

   

查看集群情况

$ cd /data1/usr/hadoop-2.7.3/bin

$ yarn rmadmin -refreshNodes

$ ./yarn node -list


二、hbase扩容

1、登陆master1,修改配置文件

$ cd /data1/usr/hbase-1.2.4/conf


$ vi regionservers 

添加新节点主机

slave4

slave5


$ for ip in 2 3 4 5;do scp /data1/usr/hbase-1.2.4/conf/regionservers 192.168.11.13$ip:/data1/usr/hbase-1.2.4/etc/hadoop/;done


登陆新节点,创建目录,修改权限


2、拷贝hbase文件到新节点

登陆master1节点

$ scp -rpq /data1/usr/hbase-1.2.4 [email protected]:/data 

$ scp -rpq /data1/usr/hbase-1.2.4 [email protected]:/data


清理日志

$ cd /data1/usr/hbase-1.2.4/logs

$ rm *.out.*

$ >hbase-hduser-master-master1.log

$ >hbase-hduser-master-master1.out


3、登陆新节点,启动服务

$ cd /data1/usr/hbase-1.2.4/bin

$ ./hbase-daemon.sh start regionserver


$ ./hbase shell

status 

猜你喜欢

转载自blog.51cto.com/xiaoxiaozhou/2138807