hadoop集群中存在配置较低的数据节点应用如何应对磁盘数据溢满的问题之rebalance

Posted 2023-02-03 扫地增

现象

登录hdfs web ui发现集群中一个节点的负载远高于另外的节点

分析

一般情况下集群在数据盘配置一样，几乎使用不到rebalance，但是我们的集群中有一个比较小的数据节点，因此我们需要关注各节点数据分布情况，及时进行rebalance

方案

方案一：

1、启动rebalance

hadoop balancer -threshold 5

2、因为rebalance期间需要占用集群资源，因此尽快完成比较重要可以使用setBalancerBandwidth设置来增加每秒流量

hadoop dfsadmin -setBalancerBandwidth 524288000 --500M

方案二：

彻底解决就需要将相关低配置数据节点升级到与其他数据节点相同的配置

方案选择分析

我们为什么使用方案一，因为我们仅仅是将配置较低的节点当做计算节点使用，并非数据节点

效果：