hdfs disk balancer 磁盘均衡器

Posted 2023-03-31 huan1993的技术分享

目录

• 1、背景
• 2、hdfs balancer和 hdfs disk balancer有何不同？
• 3、操作
  • 3.1 生成计划
  • 3.2 执行计划
  • 3.3 查询计划
  • 3.4 取消计划
• 4、和disk balancer相关的配置
• 5、额外知识点
  • 5.1 新的block存储到那个磁盘(卷)中
  • 5.2 磁盘数据密度度量标准
• 6、参考文档

1、背景

在我们的hadoop集群运行一段过程中，由于多种原因，数据在DataNade的磁盘之间的分布可能是不均匀。比如： 我们刚刚给某个DataNode新增加了一块磁盘或者集群上存在大批量的write & deltete操作等灯。那么有没有一种工具，能够使单个DataNode中的多个磁盘的数据均衡呢？借助Hadoop提供的Diskbalancer命令行工具可以实现。

2、hdfs balancer和 hdfs disk balancer有何不同？

hdfs balancer： 是为了集群中DataNode的数据均衡，即针对多个DataNode的。

hdfs disk balancer： 是为了使单台DataNode中的多个磁盘中的数据均衡。

注意： 目前DiskBalancer不支持跨存储介质（SSD、DISK等）的数据转移，所以磁盘的均衡都是要求在一个storageType下的。因为hdfs中存在异构存储。

3、操作

3.1 生成计划

[hadoopdeploy@hadoop01 ~]$ hdfs diskbalancer -plan hadoop01 -out hadoop01-plan.json

-plan: 后面接的是主机名。
-out: 指定计划文件的输出位置。

3.2 执行计划

[hadoopdeploy@hadoop01 ~]$ hdfs diskbalancer -execute hadoop01-plan.json

3.3 查询计划

[hadoopdeploy@hadoop01 ~]$ hdfs diskbalancer -query hadoop01

-query 后面跟的是 主机名

3.4 取消计划

[hadoopdeploy@hadoop01 ~]$ hdfs diskbalancer -cancel hadoop01-plan.json

4、和disk balancer相关的配置

配置	描述
dfs.disk.balancer.enabled	此参数控制是否为集群启用diskbalancer。如果未启用，任何执行命令都将被DataNode拒绝。默认值为true。
dfs.disk.balancer.max.disk.throughputInMBperSec	这控制了diskbalancer在复制数据时消耗的最大磁盘带宽。如果指定了10MB之类的值，则diskbalancer平均只会复制10MB/S。默认值为10MB/S。
dfs.disk.balancer.max.disk.errors	设置能够容忍的在指定的移动过程中出现的最大错误次数，超过此阈值则失败。例如，如果一个计划有3对磁盘要在其中复制，并且第一个磁盘集遇到超过5个错误，那么我们放弃第一个副本并启动计划中的第二个副本。最大错误的默认值设置为5。
dfs.disk.balancer.block.tolerance.percent	设置磁盘之间进行数据均衡操作时，各个磁盘的数据存储量与理想状态之间的差异阈值。取值范围[1-100]，默认为10。例如，各个磁盘的理想数据存储量为100 GB，此参数设置为10。那么，当目标磁盘的数据存储量达到90 GB时，则认为该磁盘的存储状态就已经达到预期。
dfs.disk.balancer.plan.threshold.percent	设置在磁盘数据均衡中可容忍的两磁盘之间的数据密度域值差，取值范围[1-100]，默认为10。如果任意两个磁盘数据密度差值的绝对值超过了阈值，则说明需要对该的磁盘进行数据均衡。例如，如果一个2盘节点上的总数据为100 GB，那么磁盘均衡器计算每个磁盘上的期望值为50 GB。如果容差为10%，则单个磁盘上的数据需要大于60 GB（50 GB + 10%容差值），DiskBalancer才能开始工作。
dfs.disk.balancer.plan.valid.interval	磁盘平衡器计划有效的最大时间。支持以下后缀（不区分大小写）：ms（milis）、s（sec）、m（min）、h（h）、d（day）以指定时间（例如2s、2m、1h等）。如果未指定后缀，则假定为毫秒。默认值为1d

5、额外知识点

5.1 新的block存储到那个磁盘(卷)中

当数据写入新的block时，DataNode会根据策略选择不同的磁盘来存储。

循环策略： 默认策略，将新的块均匀的分布在可用的磁盘上，可能造成数据倾斜。

可用空间策略： 选择更多可用空间(按百分比)的磁盘。可能造成在某段时间内，某个磁盘的IO压力变大。

5.2 磁盘数据密度度量标准

上图来自 https://www.bilibili.com/video/BV11N411d7Zh/?p=81

6、参考文档

1、https://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-hdfs/HDFSDiskbalancer.html
2、https://help.aliyun.com/document_detail/467585.html
3、https://www.bilibili.com/video/BV11N411d7Zh/?p=81

本文来自博客园，作者：huan1993，转载请注明原文链接：https://www.cnblogs.com/huan1993/p/17275909.html

转载HDFS 上传文件不均衡和Balancer太慢的问题

向HDFS上传文件，如果是从某个datanode开始上传文件，会导致上传的数据优先写满当前datanode的磁盘，这对于运行分布式程序是非常不利的。

解决的办法：

1、从其他非datanode节点上传

可以将hadoop的安装目录复制一份到一个不在集群中的节点（直接从非datanode的namenode上传也可以，但是这样不太好，会增加namenode的负担，并且时间长了会让namenode上放了各种乱七八糟的文件），在这个节点上不启动任何hadoop进程，但是可以当作客户端使用。上传文件到集群。

也可以自己写一个上传文件的程序、在其他非集群节点上运行来上传文件。在程序中要注意自己设置必要的配置，比如namenode的url、副本数等等，因为如果不设置，会使用你程序中所带的hadoop jar包中的默认配置，而不是集群的默认配置。

 

2、使用balancer

可以通过 ：

1. hdfs balancer -threshold XX  

来进行平衡，xx是一个百分比。关于这个命令的用法网上一搜一大堆。

 

但是默认情况下，这个平衡时非常慢的，因为默认的hadoop不允许balancer占用很大的网络带宽。

可以通过 ：hdfs dfsadmin -setBalanacerBandwidth newbandwidth

来设置带宽，单位是字节。这个值将覆盖dfs.balance.bandwidthPerSec参数。

注意:新值在DataNode上不是持久的。