hadoop balancer

Posted 2020-07-13 roger888

 

balancer是当hdfs集群中一些datanodes的存储要写满了或者有空白的新节点加入集群时，用于均衡hdfs集群磁盘使用量的一个工具。这个工具作为一个应用部署在集群中，可以由集群管理员在一个live的cluster中执行。

语法：

To start：

     start-balancer.sh

               用默认的10%的阈值启动balancer

     hfs dfs balancer -threshold 3

     start-balancer.sh -threshold 3

               指定3%的阈值启动balancer

To stop：

     stop-balancer.sh

Threshold参数是1%~100%范围内的一个数，默认值是10%。Threshold参数为集群是否处于均衡状态设置了一个目标。

如果每一个datanode的利用率（已使用空间/节点总容量）和集群利用率（集群已使用空间/集群总容量）不超过Threshold参数值，则认为这个集群是均衡的。

Threshold参数值越小，集群会越均衡。但是以一个较小的threshold值运行balancer带到平衡时花费的时间会更长。同时，如果设置了一个较小的threshold，但是在线上环境中，hadoop集群在进行balance时，还在并发的进行数据的写入和删除，所以有可能无法到达设定的平衡参数值。

 

基于这些基本点，目前Hadoop数据重分布程序实现的逻辑流程如下图所示：

<ignore_js_op> 

Rebalance程序作为一个独立的进程与name node进行分开执行。

1 Rebalance Server从Name Node中获取所有的Data Node情况：每一个Data Node磁盘使用情况。

2 Rebalance Server计算哪些机器需要将数据移动，哪些机器可以接受移动的数据。并且从Name Node中获取需要移动的数据分布情况。

3 Rebalance Server计算出来可以将哪一台机器的block移动到另一台机器中去。

4,5,6 需要移动block的机器将数据移动的目的机器上去，同时删除自己机器上的block数据。

7  Rebalance Server获取到本次数据移动的执行结果，并继续执行这个过程，一直没有数据可以移动或者HDFS集群以及达到了平衡的标准为止。

 

1-7为一个迭代，这个工具迭代的把数据块从利用率高的datanode移到利用率低的datanode。

每次移动，一个datanode不会接受或移出少于10G的block或少于datanode总容量threshold百分比的block。每次移动不会运行超过20分钟。在每次移动结束，balancer会向namenode提交更新后的datanodes信息。

系统限制了balancer可以使用的带宽最大值，由如下参数设置：

dfs.balance.bandwidthPerSec

这个参数设置了一个数据块从一个datanode移到另一个时达到的最大速度。默认是1MB/s。该参数设置的越大，集群达到均衡的速度越快，但对应用进程带宽资源的竞争也就越大，会导致mapred应用运行缓慢。

?该参数在集群重启后生效

?该工具在一个hdfs集群中只能启动一个实例

?balancer在如下5种情况下会自动退出：

   ①集群已达到均衡状态；

   ②没有block能被移动；

   ③连续5次迭代移动没有任何一个block被移动；

   ④当与namenode交互式出现了IOException；

   ⑤另一个balancer在运行中。

   对应5个退出信息：

* The cluster is balanced. Exiting

* No block can be moved. Exiting...

* No block has been moved for 5 iterations. Exiting...

* Received an IO exception: failure reason. Exiting...

* Another balancer is running. Exiting...

Hadoop的开发人员在开发Balancer程序的时候，遵循了以下几点原则：

1.    在执行数据重分布的过程中，必须保证数据不能出现丢失，不能改变数据的备份数，不能改变每一个rack中所具备的block数量。

2.    系统管理员可以通过一条命令启动数据重分布程序或者停止数据重分布程序。

3.    Block在移动的过程中，不能暂用过多的资源，如网络带宽。

4.    数据重分布程序在执行的过程中，不能影响name node的正常工作。