Hadoop的两种扩容方式

Hadoop两种扩容方式

1、横向扩容(增加datanode节点数)

①、克隆之前配置好的从属机,修改静态ip地址,在namenode机上配置hosts文件,将新的从属机IP地址映射加入进去

②、因为hadoop支持热部署,可以在已经启动的情况下在slaves文件中加入hadoop03,然后在从属机上手动启动datanode进程,namenode会自动监听slaves中每个从属机的进程状态,启动之后会自动加入到livenodes中去。也可以在服务启动之前就加入到slaves中去,启动服务时会自动启动所有从属机的datanode进程。

3URDRf.png

2、纵向扩容(增加datanode的存储容量)

①、给datanode虚拟机增加一块硬盘,重启虚拟机以加载硬盘。

②、进入到 /dev文件夹下 ,使用 ll |grep sd 命令可以看到有新增一个sdb,这就是新加的硬盘的配置文件

使用fdisk对sdb进行配置

1> fdisk sdb //进入配置菜单 输入m可以查看命令提示

2>n //添加分区

3>p //添加的分区类型为主分区

4>1 //第几个主分区

5>直接按回车 //从第几个扇区开始 默认是2048

6>直接回车 //分配的大小 默认是全部

7>w //保存修改并退去配置菜单

8> ll |grep sd //再次查看,如果多出一个sdb01标明配置完成

③、新建一个文件夹,将新磁盘配置的分区和该文件夹绑定(挂载)

1>临时挂载,重启之后会失效,使用 mount /dev/sdb1 /sdb1

​ ↑ ↑

​ 要绑定的分区文件位置 要绑定的文件夹的位置

2>永久挂载,重启之后也不会失效

​ vim /etc/fstab

​ 最下方加入一行代码

​ /dev/sdb1 /sdb1 xfs defaults 0 0 //添加配置

​ 分区位置 文件夹位置

​ ④、 修改hdfs-site.xml 加入如下配置

3U5hxP.png

dfs.datanode.data.dir

⑤、start-dfs.sh

猜你喜欢

转载自www.cnblogs.com/qilingfeng/p/12709182.html