hdfs节点退役如何加快副本迁移速度

Posted wang3680 机会是留给那些有准备的人

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了hdfs节点退役如何加快副本迁移速度相关的知识,希望对你有一定的参考价值。

一、场景 当hdfs更换机器需要退役当前节点数据时候,通过查看namenode节点50070web服务 问题:发现正在迁移的节点数据blocks太大,一千多万个block,大约在5T左右,速度太慢了,基本上得跑3周,20天左右才能把数据迁移完 要注意在decommisstion in progres

以上是关于hdfs节点退役如何加快副本迁移速度的主要内容,如果未能解决你的问题,请参考以下文章

我们如何仅从hdfs联合中的一个名称空间中排除某些数据节点?

HDFS服役新数据节点和退役旧节点步骤

kafka学习记录—Broker(服役退役节点,kafka副本,文件存储)

HDFS的可靠性设计

Kafka快速入门(Kafka Broker)节点服役和退役手动调整副本

如何在 Active Record 迁移中为字段添加索引以加快查询速度?