HDFS Datanode 磁盘间均衡（加磁盘）

Desc: 适用于机器加一块或多块磁盘时，重新均衡已有的磁盘上的hdfs到新盘上
1.首先需要先升级cdh到5.12+，确保 dfs.disk.balancer.enabled 已开启 (在 HDFS 配置项中找到hdfs-site.xml的HDFS服务⾼级配置代码段) ，并切到 hdfs 帐号
2.生成均衡计划，加磁盘的机器都执行，指定主机名、阈值及使用带宽(M)

hdfs diskbalancer  --plan `hostname -f` --thresholdPercentage 2 --bandwidth 30

输出如下：均衡计划的输出到hdfs的 /system/diskbalancer/2017-Sep-27-18-13-46 目录里

17/09/27 18:13:46 INFO planner.GreedyPlanner: Starting plan for Node : data01.sa:50020
17/09/27 18:13:46 INFO planner.GreedyPlanner: Disk Volume set a1bd6fb6-8cdf-4d2a-a698-824e7e31600f Type : DISK plan completed.
17/09/27 18:13:46 INFO planner.GreedyPlanner: Compute Plan for Node : data01.sa:50020 took 11 ms
17/09/27 18:13:46 INFO command.Command: Writing plan to : /system/diskbalancer/2017-Sep-27-18-13-46

3.先看下一下 plan的输出目录，有两个文件

[hdfs@data02 ~]$ hadoop fs -ls /system/diskbalancer/2017-Sep-27-18-11-47
Found 2 items
-rw-r--r--   2 hdfs supergroup       6462 2017-09-27 18:11 /system/diskbalancer/2017-Sep-27-18-11-47/data01.sa.before.json
-rw-r--r--   2 hdfs supergroup       1693 2017-09-27 18:11 /system/diskbalancer/2017-Sep-27-18-11-47/data01.sa.plan.json

4.使用 plan.json 后缀的文件来进行 execute

hdfs diskbalancer -execute /system/diskbalancer/2017-Sep-27-18-11-47/data01.sa.plan.json

5.查看均衡进度

hdfs diskbalancer -query `hostname -f`

6.更换下主机名，再执行下步骤 2-5