hdfs datanode通过添加数据盘扩容

Posted 2021-11-23 liuguangjiji

最近，在生产环境中，hdfs集群数据量已达到存储的90%，亟需对存储空间进行扩容。

通过调研和实验，确定添加datanoe的存储目录比较适合我们的生产环境！在这里记录一下添加数据目录的过程。

• 第一步：备份hdfs-site.xml配置文件

cp hdfs-site.xml hdfs-site.xml.20190330.bak

• 第二步：添加数据磁盘、格式化，并挂载到/data2目录

#格式化磁盘
mkfs.ext4 /dev/sdb

#挂载磁盘到/data2
mount -t ext4 /dev/sdb /data2

#添加开机挂载
vim /etc/fstab

• 第三步：创建hdfs数据存储目录

mkdir /data2/hadoop

注意：如果hadoop集群有用户权限，需要修改相应权限，例如：chown -R hadoop.hdfs /data2/hadoop

• 第四步：修改hdfs-site.xml文件（所有节点），增加dfs.datanode.data.dir数据目录（用逗号分隔）

<property>
      <name>dfs.datanode.data.dir</name>
      <value>file:/data1/my_data/dfs-data,/data2/hadoop</value>
</property>

• 第五步：重启HBASE集群

执行重启命令。。

---

 重启完成后，可以发现旧的数据目录会均衡一部分数据到新的目录，扩容工作完成~~