hadoop rebalance

之前一直没做过rebalance,以为速度很快,结果大意了,等到磁盘达到90%的时候,才开始做rebalance。

默认的从日志中可以看到总共需要迁移1.89T,但是每次只移动40G大小的量。

然后查看40G的数据量从15:45分到15:48分,所以结算结果为每分钟13G,每秒228M左右。

hadoop有个balancerBandwidth可以通过设置带宽流量来增加数据移动的大小。

所以通过以下设置来增加每秒流量为500M.

hadoop dfsadmin -setBalancerBandwidth 524288000 

猜你喜欢

转载自www.cnblogs.com/30go/p/9224656.html