hadoop HDFS扩容

Posted 狮子对你微笑

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了hadoop HDFS扩容相关的知识,希望对你有一定的参考价值。

1.纵向扩容(添加硬盘)

1.1 添加硬盘





确定完成添加,运行 lsblk 查看硬盘使用情况

1.2 硬盘分区

fdisk /dev/sdb   #对新硬盘sdb进行分区

m  帮助
n  添加一个分区
p  选择主分区
q  不保存退出
w  保存并退出

centerOS7的默认文件系统是xfs,centerOS6默认的文件系统是ext4

mkfs.xfs /dev/sdb1 #格式化并构建xfs文件系统

1.3 挂载


mount 分的区 被挂载的文件夹
注:umount /dev/sdb1 /sdb1 取消挂载,分区sdb1中的数据不会消失,但通过文件夹sdb1不能访问数据,重新挂载后,便又可以通过文件夹sdb1访问

因为mount挂载是临时的,重启虚拟机后消失,所以需要配置开机自动挂载

vim /etc/fstab  #进入配置文件
#添加一下配置
/dev/sdb1     /sdb1        xfs           defaults      0 0

1.4 增加节点访问data的位置(hdfs-site.sh)

1.5 查看 https://192.168.3.8:50070

以上是关于hadoop HDFS扩容的主要内容,如果未能解决你的问题,请参考以下文章

Hadoop3 - HDFS DataNode 动态扩容和缩容

hadoop HDFS扩容

HDFS—集群扩容及缩容

HDFS—集群扩容及缩容

HDFS与HBASE的动态节点的扩容(增删)小白级

Hbase/HDFS存储扩容实践