Hadoop集群hdfs添加磁盘操作

Posted 2020-11-02 A72HONGJIE

Hadoop集群hdfs添加磁盘操作

目前的环境是cdh。服务器部署在Azure；一个cdhmaster（一个namenode，一个datanode），四个cdhslave节点（各一个datanode）。

hdfs现状：

首先是在Azure控制台对每台服务器添加一块磁盘（我这添加的是4T）

在到服务器中对每台服务器进行添加磁盘操作：

因为在Linux中，常用2种分区表：

1. MBR分区表（即主引导记录）
   所支持的最大分区：2T，而且对分区有限制：最多4个主分区或3个主分区加一个扩展分区 [fdisk命令操作]
2. GPT分区表（即GUID分区表）
   是源自EFI标准的一种较新的磁盘分区表结构的标准，与MBR分区方式相比，具有如下优点：突破MBR 4个主分区限制，每个磁盘最多支持128个分区。支持大于2T的分区，最大可达18EB。 [parted命令操作]

使用 parted 建立大小超过2T的分区

1. parted /dev/sde 可以输入p打印磁盘信息，查看分区的情况，找到起始和结束位置。
2. mklabel gpt 设置分区类型为gpt
3. mkpart primary 0% 100% primary指分区类型为主分区，0是分区开始位置，100%是分区结束位置。相同的命令为：mkpart primary 0-1 或者是：mkpart primary 0 XXXXXX结束的空间
4. print 打印当前分区,查看分区设置是否正确
5. quit 完成后用quit命令退出。
6. mkfs.ext4 /dev/sde1 格式化磁盘。如果支持EXT4可选择格式化为EXT4.
7. mkdir /data3 && mount /dev/sde1 /data3/