目录
1、问题背景
2、解决方法
3、操作步骤
4、验证方法
详情
一、问题背景
随着hadoop集群进入寻常百姓家，随之而来的运维问题越来突出，比如怎样扩展已有集群的内存、磁盘、带宽等问题成为很多集群运维工程师面临的常见问题。其中内存、带宽的扩展往往比较容易，安装或是动态分配完成后重启下机器即生效，然磁盘物理安装或是动态分配完成后，是不能重启解决的，必须要经过专业命令的操作修改才能真正生效。
hadoop集群的磁盘动态扩展相比于传统的单机扩展下磁盘不太相同，单机扩展磁盘的作法相对选择性多，不受之前旧数据或目录设置的影响，如硬盘划分和初始化分区后直接做挂一个挂载点即可快速解决。然hadoop集群受制于之前设置的各项数据或配置目录，不能新开逻辑卷符或是挂载点，最佳途径是通过linux磁盘管理之lvm的方式， 相比于linux早期的磁盘管理方式的不可灵活动态修改磁盘分区的巨大弊端，采用lvm(LogicalVolumeManager，逻辑卷管理方式)方式可以完美解决磁盘动态扩充的问题，不用重启、无需腾挪数据即可实现动态增加或减少磁盘分区的大小配额，为集群的磁盘动态扩容提供了方便、高效的操作方法。本节重点描述该问题的解决方法。
二、解决方法
基于linux lvm的逻辑卷管理机制，通过虚拟机动态新增分配或直接物理添加磁盘存储的方式使物理磁盘扩大，
2.1 将该磁盘进行分区和初始化操作（该操作后需要重启生效，之后不再需要重启）
2.2 将该分区添加到与hdfs集群配置的数据存储目录所属的逻辑卷相同的逻辑卷组当中
2.3 最后对该逻辑卷进行lvm支持的动态扩大或减少磁盘配额的命令，
即可完全集群的磁盘存储扩容工作。
三、操作步骤
1、先通过vsphere client将某个要增加磁盘的机器的最大可用磁盘最大值调大
- 2、重启所属机器，reboot命令。
3、通过fdisk -l命令查看，物理磁盘是否正常真正得到扩展
4、为磁盘/dev/sda增加新分区
fdisk /dev/sda 增加新分区起始命令
输入n，代表新增一个分区
输入p，代表主分区，也是默认的选择
直接回车，选择默认的新增分区号即可,
再直接回车，代表选择将所有空间增加到该分区中。
再两次回车，代表按默认的计算方式给定起始和结束的扇区。
输入t，代表修改分区的信息，
直接回车，代表不做分区号的改变，
输入8e，代表选择分区类型为lvm。
最后输入w，即代表正式写入分区表，新增分区完成。
重启后生效，结果如下图：
5、初始化分区，将分区加入卷组，进行统一分配管理
pvcreate /dev/sda3 初始化分区
6、查看卷组的名称，将新增分区加入到卷组管理
vgdisplay命令可以查到
7、将新增分区加入到相应的卷组当中
vgextend cl /dev/sda3
8、扩展相应逻辑卷的大小
lvextend -L +40G /dev/mapper/cl-root
9、centos6及以下版本用resize2fs重新调整逻辑卷大小方可生效，即resize2fs /dev/mapper/cl-root
centos7版本使用xfs_growfs /dev/mapper/cl-root
四、验证方法
- 打开集群的dashboard，查看hdfs的碰盘使用占比变化即可
天亮教育是一家从事大数据云计算、人工智能、教育培训、产品开发、咨询服务、人才优选为一体的综合型互联网科技公司。
公司由一批BAT等一线互联网IT精英人士创建，
以”快乐工作，认真生活，打造高端职业技能教育的一面旗帜”为愿景，胸怀”让天下没有难找的工作”使命，
坚持”客户第一、诚信、激情、拥抱变化”的价值观，
全心全意为学员赋能提效，践行技术改变命运的初心。
更多学习讨论， 请加入
官方-天亮大数据交流-366784928
群二维码：
天亮教育公开课-从小白到大佬修成记-全系列视频地址：http://bbs.myhope365.com/forum.php?mod=viewthread&tid=1422&extra=page%3D1
欢迎关注天亮教育公众号，大数据技术资料与课程、招生就业动态、教育资讯动态、创业历程分享一站式分享，官方微信公众号二维码：
爬虫、nlp技术qq群320349384
天亮教育官方群318971238，
hadoop & spark & hive技术群297585251，
官网：myhope365.com
官方天亮论坛:http://bbs.myhope365.com/