hadoop balancer（重新平衡）

Posted 2021-10-03 格格巫 MMQ!!

1.快速入门
当前存储集群的DN的空间占用率很不均衡，最大的使用率接近100%，最小的使用率不到35%。
为了平衡空间的占用率，我们在CDH上开启了“重新平衡”。

调用的脚本实际如下：
hdfs/hdfs.sh [“balancer”,"-threshold",“10.0”,"-policy","DataNode”]
查看当前的进度条：
Successfully moved blk_1255414776_181709174 with size=134217728 from 172.16.16.66:50010:DISK to 172.16.16.39:50010:DISK through 172.16.16.219:50010
重新平衡并没有将空间占用率最高的DN优先执行。
回到顶部
2.命令行优化办法
查看hdfs balancer的命令如下：
[root@R720ip39 ~]# hdfs balancer -help
Usage: java Balancer
[-policy ] the balancing policy: datanode or blockpool
[-threshold ] Percentage of disk capacity
[-exclude [-f | comma-sperated list of hosts]] Excludes the specified datanodes.
[-include [-f | comma-sperated list of hosts]] Includes only the specified datanodes.
为了更高效率的执行balancer操作，建议如下：
-threshold 30 设置越大，越快结束，并且优先解决DN占用率高的
参数含义：判断集群