linux高级文件系统管理——RAID

Posted 2020-08-04

    作为大型企业，很多时候数据量相当庞大，由此以来对磁盘空间的要求比较高，更重要是的对数据的完整性的追求。所以单独的磁盘不仅空间使用满足不了，数据的完整性更是无从谈起，所以也就出现了专业的数据存储技术，而RAID是其中应用比较广泛，也是历史比较悠久的存数据储技术了。今天就给大家分享一下RAID的一些基本概念以及软件RAID的实现方法。

一、RAID的定义

RAID:Redundant Arrays of Inexpensive（Independent） Disks

1988年由加利福尼亚大学伯克利分校（University of California-Berkeley） “A Case for Redundant Arrays of Inexpensive Disks”。

多个磁盘合成一个“阵列”来提供更好的性能、冗余，或者两者都提供

中文名称变化

早期：廉价冗余磁盘阵列

现在：独立冗余磁盘阵列

二、RAID的优势

1、提高IO能力：磁盘并行读写来实现

2、提高耐用性；磁盘冗余来实现

三、RAID实现的方式

软件RAID:内置式RAID;主板集成RAID控制器,安装OS前需在Bios里配置

硬件RAID:外接式磁盘阵列;通过扩展卡提供适配能力

RAID硬件组合方式：

早期RAID：IDE、SCSI

现在RAID：SATA、SAS

四、RAID级别——没有高低级之分，仅代表工作方式不同

1、RAID0：条带

2、RAID1：镜像

3、RAID4：固定校验盘

4、RAID5：轮换校验盘

5、RAID6：比RAID4或RAID5多了一块校验盘

6、RAID01：先条带再镜像

7、RAID10：先镜像再条带

8、RAID50：先轮换校验再条带

9、RAID60：先轮换校验再条带

10、JBOD:将多块小盘合成大盘（存储大个文件）

五、RAID性能对比

RAID级别 读写性能 冗余能力 空间利用率 需求硬盘数

RAID0 均提升 无 100% 至少2块

RAID1 读提升、写下降 有 50% 至少2块

RAID4 均提升 有 100% 至少3块

RAID5 均提升 有 (n-1)/n 至少3块

RAID6 均提升 有 (n-2)/n 至少4块

RAID01 均提升 有 50% 至少4块

RAID10 均提升 有 50% 至少4块

RAID50 均提升 有 (n-1)/2n 至少6块

RAID60 均提升 有 (n-2)/2n 至少8块

JBOD 无提升 无 100% 至少2块

六、软RAID的创建与管理

mdadm：为软RAID提供管理界面

md：multi disk（多磁盘）

RAID设备文件：/dev/md#——#是md的接口号，非RAID级别

mdadm：模式化的工具

命令的语法格式：mdadm [mode] [options] devices

支持的RAID级别：LINEAR, RAID0, RAID1, RAID4, AID5, RAID6, RAID10 

模式：

创建模式：-C

装配模式: -A

监控模式: -F

管理模式：-f, -r, -a

-C: 创建模式

-n #: 使用#个块设备来创建此RAID

-l #：指明要创建的RAID的级别

-a {yes|no}：自动创建目标RAID设备的设备文件

-c CHUNK_SIZE: 指明块大小（默认64K）

-x #: 指明空闲盘的个数

-D：显示raid的详细信息

mdadm -D /dev/md#

管理模式：

-f: 标记指定磁盘为损坏

-a: 添加磁盘

-r: 移除磁盘

查看md的状态：cat /proc/mdstat

停止md设备：mdadm -S /dev/md#

七、RAID5管理实例

现在我们使用四块20G的硬盘来做一个RAID5,三块工作盘，一块备用盘，（3-1）/3*20*3=40G,所以做出来的RAID5实际可用空间是40G

第一步：先在服务器上装载四块同样大小的新硬盘

如果使用分区来做的话，首先必须在每块盘上分出一个大小相同的分区出来，分区的同时把分区类型调整为fd（Linux raid auto）

如果是用四块相同大小的硬盘（大小是自己所想要的单盘空间大小），就不需要执行分区这个过程了，只要正常装载进操作系统就行了，使用lsblk可查看是否全部装载进来了

[[email protected] ~]# lsblk

NAME   MAJ:MIN RM  SIZE RO TYPE MOUNTPOINT

sda      8:0    0   20G  0 disk 

├─sda1   8:1    0  200M  0 part /boot

├─sda2   8:2    0    5G  0 part /

└─sda3   8:3    0    5G  0 part /test

sdb      8:16   0   20G  0 disk 

sdc      8:32   0   20G  0 disk 

sdd      8:48   0   20G  0 disk 

sde      8:64   0   20G  0 disk 

sr0     11:0    1  7.2G  0 rom  

[[email protected] ~]# 

我这里显示已经正常装载进来了，可以直接进行第二步了

第二步：使用mdadm创建模式创建RAID5

[[email protected] ~]# mdadm -C -l 5 -a yes -n 3 -x 1 /dev/md0 /dev/sd{b,c,d,e}

mdadm: Defaulting to version 1.2 metadata

mdadm: array /dev/md0 started.

[[email protected] ~]#

创建成功，现在我们可以使用mdadm -D查看一下md0的运行状态

[[email protected] ~]# mdadm -D /dev/md0

/dev/md0:

       Version : 1.2

 Creation Time : Sun Aug 28 22:51:49 2016

    Raid Level : raid5

    Array Size : 41910272 (39.97 GiB 42.92 GB)

 Used Dev Size : 20955136 (19.98 GiB 21.46 GB)

  Raid Devices : 3

 Total Devices : 4

   Persistence : Superblock is persistent

   Update Time : Sun Aug 28 22:52:29 2016

         State : clean, degraded, recovering 

Active Devices : 2

Working Devices : 4

Failed Devices : 0

 Spare Devices : 2

        Layout : left-symmetric

    Chunk Size : 512K

Rebuild Status : 40% complete

          Name : centos7:0  (local to host centos7)

          UUID : 5c963814:a05913d3:f1c0a068:2edb71d0

        Events : 7

   Number   Major   Minor   RaidDevice State

      0       8       16        0      active sync   /dev/sdb

      1       8       32        1      active sync   /dev/sdc

      4       8       48        2      spare rebuilding   /dev/sdd

      3       8       64        -      spare   /dev/sde

[[email protected] ~]# 

可以看到，spare rebuilding，空闲盘正在重建中，sdb，sdc，sdd三块是当前活动盘，sde现在做备用盘spare

第三步：建立RAID装配文件，方便RAID停止后，能够使用mdadm -A自动装配RAID

[[email protected] ~]# mdadm -Ds /dev/md0 > /etc/mdadm.conf

[[email protected] ~]# cat /etc/mdadm.conf

ARRAY /dev/md0 metadata=1.2 spares=1 name=centos7:0 UUID=8923e2c7:bdeb1003:ec468b86:c87453e1

[[email protected] ~]# 

配置文件创建成功，测试RAID停止后自动装配

[[email protected] ~]# mdadm -S /dev/md0

mdadm: stopped /dev/md0

[[email protected] ~]# mdadm -A /dev/md0

mdadm: /dev/md0 has been started with 3 drives and 1 spare.

[[email protected] ~]#

mdadm -A调用我们刚才创建的mdadm.conf已经把RAID5重新装配起来了，我们来查看一下详细情况

[[email protected] ~]# mdadm -D /dev/md0

/dev/md0:

       Version : 1.2

 Creation Time : Mon Aug 29 12:34:48 2016

    Raid Level : raid5

    Array Size : 41910272 (39.97 GiB 42.92 GB)

 Used Dev Size : 20955136 (19.98 GiB 21.46 GB)

  Raid Devices : 3

 Total Devices : 4

   Persistence : Superblock is persistent

   Update Time : Mon Aug 29 12:37:27 2016

         State : clean 

Active Devices : 3

Working Devices : 4

Failed Devices : 0

 Spare Devices : 1

        Layout : left-symmetric

    Chunk Size : 512K

          Name : centos7:0  (local to host centos7)

          UUID : 8923e2c7:bdeb1003:ec468b86:c87453e1

        Events : 18

   Number   Major   Minor   RaidDevice State

      0       8       16        0      active sync   /dev/sdb

      1       8       32        1      active sync   /dev/sdc

      4       8       48        2      active sync   /dev/sdd

      3       8       64        -      spare   /dev/sde

[[email protected] ~]# 

自动装配正确无误，我们可以正常进行下一步的操作了

第四步：使用ext4格式格式化创建好的md0,并挂载到/RAID5目录下

[[email protected] ~]# mkfs.ext4 -L RAID5 /dev/md0

mke2fs 1.42.9 (28-Dec-2013)

Filesystem label=RAID5

OS type: Linux

Block size=4096 (log=2)

Fragment size=4096 (log=2)

Stride=128 blocks, Stripe width=256 blocks

2621440 inodes, 10477568 blocks

523878 blocks (5.00%) reserved for the super user

First data block=0

Maximum filesystem blocks=2157969408

320 block groups

32768 blocks per group, 32768 fragments per group

8192 inodes per group

Superblock backups stored on blocks: 

32768, 98304, 163840, 229376, 294912, 819200, 884736, 1605632, 2654208, 

4096000, 7962624

Allocating group tables: done                            

Writing inode tables: done                            

Creating journal (32768 blocks): done

Writing superblocks and filesystem accounting information: done   

[[email protected] ~]# mkdir /RAID5

[[email protected] ~]# mount /dev/md0 /RAID5

[[email protected] test]# df -h

Filesystem      Size  Used Avail Use% Mounted on

/dev/sda2       5.0G  4.3G  743M  86% /

devtmpfs        899M     0  899M   0% /dev

tmpfs           913M   84K  913M   1% /dev/shm

tmpfs           913M  8.9M  904M   1% /run

tmpfs           913M     0  913M   0% /sys/fs/cgroup

/dev/sda3       4.8G  1.1G  3.5G  24% /test

/dev/sda1       197M  139M   59M  71% /boot

tmpfs           183M   16K  183M   1% /run/user/42

tmpfs           183M     0  183M   0% /run/user/0

/dev/md0         40G   49M   38G   1% /RAID5

[[email protected] ~]# ll /RAID5

total 16

drwx------. 2 root root 16384 Aug 28 23:06 lost+found

[[email protected] ~]# 

当看到df -h命令返回列表中有/dev/md0这一条，并且/RAID5目录有一个刚刚创建出来的lost+found目录时，证明，你的RAID已经挂载成功了

第五步：配置RAID自动挂载

要想让RAID在重启系统之后能够自动挂载，就需要在/etc/fstab文件中添加一行

[[email protected] test]# blkid /dev/md0

/dev/md0: LABEL="RAID5" UUID="19f98b8f-59e9-4d19-86fb-bc7fe4fcf285" TYPE="ext4" 

[[email protected] test]# vim /etc/fstab

UUID="19f98b8f-59e9-4d19-86fb-bc7fe4fcf285" /RAID5  ext4    defaults    0 0

第六步，使用mdadm -f模拟sdb损坏，验证RAID5的备用盘sde是否能自动热替换，并保证数据不丢失

1，复制/boot目录下的所有文件到刚才创建的RAID上，并查看RAID当前工作状态

[[email protected] test]# cp -r /boot/* /RAID5

[[email protected] test]# ll /RAID5

total 122944

-rw-r--r--. 1 root root   126426 Aug 29 08:31 config-3.10.0-327.el7.x86_64

drwxr-xr-x. 2 root root     4096 Aug 29 08:31 grub

drwx------. 6 root root     4096 Aug 29 08:31 grub2

-rw-r--r--. 1 root root 57594025 Aug 29 08:31 initramfs-0-rescue-2603580124fe4b4f9803f6e2ac195123.img

-rw-r--r--. 1 root root 28080535 Aug 29 08:31 initramfs-3.10.0-327.el7.x86_64.img

-rw-r--r--. 1 root root 16333775 Aug 29 08:31 initramfs-3.10.0-327.el7.x86_64kdump.img

-rw-r--r--. 1 root root 10192163 Aug 29 08:31 initrd-plymouth.img

drwx------. 2 root root    16384 Aug 28 23:06 lost+found

-rw-r--r--. 1 root root   252612 Aug 29 08:31 symvers-3.10.0-327.el7.x86_64.gz

-rw-------. 1 root root  2963044 Aug 29 08:31 System.map-3.10.0-327.el7.x86_64

-rwxr-xr-x. 1 root root  5156528 Aug 29 08:31 vmlinuz-0-rescue-2603580124fe4b4f9803f6e2ac195123

-rwxr-xr-x. 1 root root  5156528 Aug 29 08:31 vmlinuz-3.10.0-327.el7.x86_64

[[email protected] test]# mdadm -D /dev/md0

/dev/md0:

       Version : 1.2

 Creation Time : Sun Aug 28 22:51:49 2016

    Raid Level : raid5

    Array Size : 41910272 (39.97 GiB 42.92 GB)

 Used Dev Size : 20955136 (19.98 GiB 21.46 GB)

  Raid Devices : 3

 Total Devices : 4

   Persistence : Superblock is persistent

   Update Time : Mon Aug 29 08:34:13 2016

         State : clean 

Active Devices : 3

Working Devices : 4

Failed Devices : 0

 Spare Devices : 1

        Layout : left-symmetric

    Chunk Size : 512K

          Name : centos7:0  (local to host centos7)

          UUID : 5c963814:a05913d3:f1c0a068:2edb71d0

        Events : 19

   Number   Major   Minor   RaidDevice State

      0       8       16        0      active sync   /dev/sdb

      1       8       32        1      active sync   /dev/sdc

      4       8       48        2      active sync   /dev/sdd

      3       8       64        -      spare   /dev/sde

[[email protected] test]#

当前状态，一切正常，State : clean 

2、模拟sdb损坏，验证sde是否能够自动热替换

[[email protected] test]# mdadm -f /dev/md0 /dev/sdb

mdadm: set /dev/sdb faulty in /dev/md0

[[email protected] test]# mdadm -D /dev/md0

/dev/md0:

       Version : 1.2

 Creation Time : Sun Aug 28 22:51:49 2016

    Raid Level : raid5

    Array Size : 41910272 (39.97 GiB 42.92 GB)

 Used Dev Size : 20955136 (19.98 GiB 21.46 GB)

  Raid Devices : 3

 Total Devices : 4

   Persistence : Superblock is persistent

   Update Time : Mon Aug 29 08:40:54 2016

         State : clean, degraded, recovering 

Active Devices : 2

Working Devices : 3

Failed Devices : 1

 Spare Devices : 1

        Layout : left-symmetric

    Chunk Size : 512K

Rebuild Status : 10% complete

          Name : centos7:0  (local to host centos7)

          UUID : 5c963814:a05913d3:f1c0a068:2edb71d0

        Events : 22

   Number   Major   Minor   RaidDevice State

      3       8       64        0      spare rebuilding   /dev/sde

      1       8       32        1      active sync   /dev/sdc

      4       8       48        2      active sync   /dev/sdd

      0       8       16        -      faulty   /dev/sdb

[[email protected] test]# 

可以看到sdb显示已经坏掉了，sde自动顶替上去了，State : clean, degraded, recovering，并且正在执行同步，等同步完成，RAID状态就恢复正常了

[[email protected] test]# mdadm -D /dev/md0

/dev/md0:

       Version : 1.2

 Creation Time : Sun Aug 28 22:51:49 2016

    Raid Level : raid5

    Array Size : 41910272 (39.97 GiB 42.92 GB)

 Used Dev Size : 20955136 (19.98 GiB 21.46 GB)

  Raid Devices : 3

 Total Devices : 4

   Persistence : Superblock is persistent

   Update Time : Mon Aug 29 08:42:04 2016

         State : clean

Active Devices : 3

Working Devices : 3

Failed Devices : 1

 Spare Devices : 0

        Layout : left-symmetric

    Chunk Size : 512K

          Name : centos7:0  (local to host centos7)

          UUID : 5c963814:a05913d3:f1c0a068:2edb71d0

        Events : 27

   Number   Major   Minor   RaidDevice State

      3       8       64        0      active sync   /dev/sde

      1       8       32        1      active sync   /dev/sdc

      4       8       48        2      active sync   /dev/sdd

      0       8       16        -      faulty   /dev/sdb

[[email protected] test]# 

现在sde替换sdb之后，同步完成，RAID状态恢复正常

3、验证热替换后RAID上的数据是否损坏

[[email protected] test]# ll /RAID5

total 122944

-rw-r--r--. 1 root root   126426 Aug 29 08:31 config-3.10.0-327.el7.x86_64

drwxr-xr-x. 2 root root     4096 Aug 29 08:31 grub

drwx------. 6 root root     4096 Aug 29 08:31 grub2

-rw-r--r--. 1 root root 57594025 Aug 29 08:31 initramfs-0-rescue-2603580124fe4b4f9803f6e2ac195123.img

-rw-r--r--. 1 root root 28080535 Aug 29 08:31 initramfs-3.10.0-327.el7.x86_64.img

-rw-r--r--. 1 root root 16333775 Aug 29 08:31 initramfs-3.10.0-327.el7.x86_64kdump.img

-rw-r--r--. 1 root root 10192163 Aug 29 08:31 initrd-plymouth.img

drwx------. 2 root root    16384 Aug 28 23:06 lost+found

-rw-r--r--. 1 root root   252612 Aug 29 08:31 symvers-3.10.0-327.el7.x86_64.gz

-rw-------. 1 root root  2963044 Aug 29 08:31 System.map-3.10.0-327.el7.x86_64

-rwxr-xr-x. 1 root root  5156528 Aug 29 08:31 vmlinuz-0-rescue-2603580124fe4b4f9803f6e2ac195123

-rwxr-xr-x. 1 root root  5156528 Aug 29 08:31 vmlinuz-3.10.0-327.el7.x86_64

[[email protected] test]# gzip -d /RAID5/symvers-3.10.0-327.el7.x86_64.gz 

[[email protected] test]# ll /RAID5/symvers-3.10.0-327.el7.x86_64 

-rw-r--r--. 1 root root 906479 Aug 29 08:31 /RAID5/symvers-3.10.0-327.el7.x86_64

[[email protected] test]# 

既然原有的压缩文件在坏掉一块盘并热替换之后都可以正常解压出来，说明RAID5备用盘的热替换是能保证数据完整性的

第七步：验证RAID5的冗余能力

既然sdb损坏了，我们就把它取下来

[[email protected] test]# mdadm -r /dev/md0 /dev/sdb

mdadm: hot removed /dev/sdb from /dev/md0

[[email protected] test]# mdadm -D /dev/md0

/dev/md0:

       Version : 1.2

 Creation Time : Sun Aug 28 22:51:49 2016

    Raid Level : raid5

    Array Size : 41910272 (39.97 GiB 42.92 GB)

 Used Dev Size : 20955136 (19.98 GiB 21.46 GB)

  Raid Devices : 3

 Total Devices : 3

   Persistence : Superblock is persistent

   Update Time : Mon Aug 29 09:02:12 2016

         State : clean 

Active Devices : 3

Working Devices : 3

Failed Devices : 0

 Spare Devices : 0

        Layout : left-symmetric

    Chunk Size : 512K

          Name : centos7:0  (local to host centos7)

          UUID : 5c963814:a05913d3:f1c0a068:2edb71d0

        Events : 39

   Number   Major   Minor   RaidDevice State

      3       8       64        0      active sync   /dev/sde

      1       8       32        1      active sync   /dev/sdc

      4       8       48        2      active sync   /dev/sdd

[[email protected] test]# 

已经把坏盘给移除了，当前三块盘都处于工作中，State : clean，RAID的工作状态一切正常。已经没有备用盘了，现在我们再损坏一块工作盘sde，测试RAID5在坏掉一块工作盘的情况下，是否有冗余能力

[[email protected] test]# mdadm -f /dev/md0 /dev/sde

mdadm: set /dev/sde faulty in /dev/md0

[[email protected] test]# mdadm -D /dev/md0

/dev/md0:

       Version : 1.2

 Creation Time : Sun Aug 28 22:51:49 2016

    Raid Level : raid5

    Array Size : 41910272 (39.97 GiB 42.92 GB)

 Used Dev Size : 20955136 (19.98 GiB 21.46 GB)

  Raid Devices : 3

 Total Devices : 3

   Persistence : Superblock is persistent

   Update Time : Mon Aug 29 09:09:50 2016

         State : clean, degraded 

Active Devices : 2

Working Devices : 2

Failed Devices : 1

 Spare Devices : 0

        Layout : left-symmetric

    Chunk Size : 512K

          Name : centos7:0  (local to host centos7)

          UUID : 5c963814:a05913d3:f1c0a068:2edb71d0

        Events : 41

   Number   Major   Minor   RaidDevice State

      0       0        0        0      removed

      1       8       32        1      active sync   /dev/sdc

      4       8       48        2      active sync   /dev/sdd

      3       8       64        -      faulty   /dev/sde

[[email protected] test]# ll /RAID5/grub

total 4

-rw-r--r--. 1 root root 1350 Aug 29 08:31 splash.xpm.gz

[[email protected] test]# gzip -d /RAID5/grub/splash.xpm.gz 

[[email protected] test]# ll /RAID5/grub/splash.xpm

-rw-r--r--. 1 root root 309214 Aug 29 08:31 /RAID5/grub/splash.xpm

[[email protected] test]# 

RAID5中三块工作盘坏掉了一块sde，原来的文件依然能够正常解压出来，说明RAID5是在损坏一块盘的情况下，是能正常工作，并且保证数据的完整性的，也就是我们之前提到的冗余能力是具有的。但是RAID的状态已经明确标明RAID已经处于退化的状态了，State : clean, degraded，所以此时作为我们运维人员，就需要及时的修复或安装新硬盘，否则，RAID的工作状态可能随时有危险。

第八步：RAID状态修复

现在我们的sdb、sde已经修改好了，需要把它们重装回去，并让它们重新组合成三块工作盘，一块备用的工作状态

1、先把当前坏掉的盘sde移除，再把已经修复的盘sdb添加进来

[[email protected] test]# mdadm -r /dev/md0 /dev/sde

mdadm: hot removed /dev/sde from /dev/md0

[[email protected] test]# mdadm -D /dev/md0

/dev/md0:

       Version : 1.2

 Creation Time : Sun Aug 28 22:51:49 2016

    Raid Level : raid5

    Array Size : 41910272 (39.97 GiB 42.92 GB)

 Used Dev Size : 20955136 (19.98 GiB 21.46 GB)

  Raid Devices : 3

 Total Devices : 2

   Persistence : Superblock is persistent

   Update Time : Mon Aug 29 09:46:59 2016

         State : clean, degraded 

Active Devices : 2

Working Devices : 2

Failed Devices : 0

 Spare Devices : 0

        Layout : left-symmetric

    Chunk Size : 512K

          Name : centos7:0  (local to host centos7)

          UUID : 5c963814:a05913d3:f1c0a068:2edb71d0

        Events : 50

   Number   Major   Minor   RaidDevice State

      0       0        0        0      removed

      1       8       32        1      active sync   /dev/sdc

      4       8       48        2      active sync   /dev/sdd

[[email protected] test]# mdadm -a /dev/md0 /dev/sdb

mdadm: added /dev/sdb

[[email protected] test]# mdadm -D /dev/md0

/dev/md0:

       Version : 1.2

 Creation Time : Sun Aug 28 22:51:49 2016

    Raid Level : raid5

    Array Size : 41910272 (39.97 GiB 42.92 GB)

 Used Dev Size : 20955136 (19.98 GiB 21.46 GB)

  Raid Devices : 3

 Total Devices : 3

   Persistence : Superblock is persistent

   Update Time : Mon Aug 29 09:54:43 2016

         State : clean, degraded, recovering 

Active Devices : 2

Working Devices : 3

Failed Devices : 0

 Spare Devices : 1

        Layout : left-symmetric

    Chunk Size : 512K

Rebuild Status : 6% complete

          Name : centos7:0  (local to host centos7)

          UUID : 5c963814:a05913d3:f1c0a068:2edb71d0

        Events : 52

   Number   Major   Minor   RaidDevice State

      3       8       16        0      spare rebuilding   /dev/sdb

      1       8       32        1      active sync   /dev/sdc

      4       8       48        2      active sync   /dev/sdd

[[email protected] test]#

此时sdb添加进来之后，RAID会有一个修复的过程，State : clean, degraded, recovering，标明RAID正在恢复中，spare rebuilding   /dev/sdb标明是新添加进来的sdb正在和sdc、sdd进行数据同步，等同步完成之后，RAID状态就恢复正常了

[[email protected] test]# mdadm -D /dev/md0

/dev/md0:

       Version : 1.2

 Creation Time : Sun Aug 28 22:51:49 2016

    Raid Level : raid5

    Array Size : 41910272 (39.97 GiB 42.92 GB)

 Used Dev Size : 20955136 (19.98 GiB 21.46 GB)

  Raid Devices : 3

 Total Devices : 3

   Persistence : Superblock is persistent

   Update Time : Mon Aug 29 09:56:50 2016

         State : clean 

Active Devices : 3

Working Devices : 3

Failed Devices : 0

 Spare Devices : 0

        Layout : left-symmetric

    Chunk Size : 512K

          Name : centos7:0  (local to host centos7)

          UUID : 5c963814:a05913d3:f1c0a068:2edb71d0

        Events : 58

   Number   Major   Minor   RaidDevice State

      3       8       16        0      active sync   /dev/sdb

      1       8       32        1      active sync   /dev/sdc

      4       8       48        2      active sync   /dev/sdd

[[email protected] test]#

State : clean，RAID状态就恢复正常

2、添加已经修复的盘sde进来继续作为备用盘

[[email protected] test]# mdadm -a /dev/md0 /dev/sde

mdadm: added /dev/sde

[[email protected] test]# mdadm -D /dev/md0

/dev/md0:

       Version : 1.2

 Creation Time : Sun Aug 28 22:51:49 2016

    Raid Level : raid5

    Array Size : 41910272 (39.97 GiB 42.92 GB)

 Used Dev Size : 20955136 (19.98 GiB 21.46 GB)

  Raid Devices : 3

 Total Devices : 4

   Persistence : Superblock is persistent

   Update Time : Mon Aug 29 09:59:15 2016

         State : clean 

Active Devices : 3

Working Devices : 4

Failed Devices : 0

 Spare Devices : 1

        Layout : left-symmetric

    Chunk Size : 512K

          Name : centos7:0  (local to host centos7)

          UUID : 5c963814:a05913d3:f1c0a068:2edb71d0

        Events : 70

   Number   Major   Minor   RaidDevice State

      3       8       16        0      active sync   /dev/sdb

      1       8       32        1      active sync   /dev/sdc

      4       8       48        2      active sync   /dev/sdd

      5       8       64        -      spare   /dev/sde

[[email protected] test]# 

RAID5理想的工作状态完全恢复，三块工作盘sdb、sdc、sdd，一块备用盘sde

第九步：删除RAID

1、要想删除RAID，必须先停止RAID，要想停止RAID，必须取消RAID的挂载状态

[[email protected] test]# df -h

Filesystem      Size  Used Avail Use% Mounted on

/dev/sda2       5.0G  4.3G  744M  86% /

devtmpfs        899M     0  899M   0% /dev

tmpfs           913M   84K  913M   1% /dev/shm

tmpfs           913M  8.9M  904M   1% /run

tmpfs           913M     0  913M   0% /sys/fs/cgroup

/dev/sda3       4.8G  1.2G  3.4G  26% /test

/dev/sda1       197M  139M   59M  71% /boot

tmpfs           183M   16K  183M   1% /run/user/42

tmpfs           183M     0  183M   0% /run/user/0

/dev/md0         40G  178M   38G   1% /RAID5

[[email protected] test]# umount /dev/md0

[[email protected] test]# df -h

Filesystem      Size  Used Avail Use% Mounted on

/dev/sda2       5.0G  4.3G  744M  86% /

devtmpfs        899M     0  899M   0% /dev

tmpfs           913M   84K  913M   1% /dev/shm

tmpfs           913M  8.9M  904M   1% /run

tmpfs           913M     0  913M   0% /sys/fs/cgroup

/dev/sda3       4.8G  1.2G  3.4G  26% /test

/dev/sda1       197M  139M   59M  71% /boot

tmpfs           183M   16K  183M   1% /run/user/42

tmpfs           183M     0  183M   0% /run/user/0

[[email protected] test]# 

取消RAID的挂载已成功，接下来可以停止RAID了

2、停止RAID

[[email protected] test]# mdadm -S /dev/md0

mdadm: stopped /dev/md0

[[email protected] test]# 

3、删除RAID自动装配文件

[[email protected] test]# rm -f /etc/mdadm.conf

4、配置过自动挂载的，还需要删除/etc/fstab文件中的RAID挂载一行

UUID="19f98b8f-59e9-4d19-86fb-bc7fe4fcf285" /RAID5  ext4    defaults    0 0(删除整行)

如果是用四块整盘做的RAID，直接把硬盘拆除即可。如果是用磁盘分区做的RAID，还需要进行下两步

5、清除成员raid信息

mdadm --zero-superblock /dev/sd#

6、删除用于组建RAID的分区

fdisk /dev/sd#

至此，从RAID创建、管理、修复、删除基本上是给大家全过程的展示了一遍，相信只要认真学习我的博文的同仁们，最起码，你对RAID的工作原理有一个基础的了解了。至于其它级别的RAID同样可以参考本文的步骤，只是创建的时候级别不同，其它操作区别不大。

本文出自 “爱情防火墙” 博客，请务必保留此出处http://183530300.blog.51cto.com/894387/1843980