磁盘阵列技术
Posted ‘朱砂痣’、
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了磁盘阵列技术相关的知识，希望对你有一定的参考价值。
一、常用RAID介绍
磁盘阵列的全名是（Redundant Arrays of Inexpensive Disk，RAID），中文意思是独立冗余磁盘阵列。RAID可以通过技术（软件或者硬件）将多个较小的磁盘整合成为一个较大的磁盘设备，而这个较大的磁盘功能可不止存储而已，它还具有数据保护的功能，整个RAID由于选择的级别（level）不同，而使得整合后的磁盘具有不同的功能，基本常用的level有以下几种
1.1 RAID 0 （条带化存储） ---------性能最佳
说明：将N块硬盘并行组合成一个新的逻辑盘
- RAID 0连续以位或字节为单位分割数据，并行读/写于多个磁盘上，因此具有很高的数据传输率，但它没有数据冗余；
- RAID 0只是单纯地提高性能，并没有为数据的可靠性提供保证，而且其中的一个磁盘失效将影响到所有数据；
- RAID 0不能应用于数据安全性要求高的场合。
说明：条带集ABCD同时写入（至少两块硬盘），追求的是速度，没容错，100%利用率，不能损坏任意一个盘
1.2 RAID 1（镜像存储） ------完整备份
说明：将N块（偶数块）硬盘组合成一组一组镜像，容量为N/2
-
通过磁盘数据镜像实现数据冗余，在成对的独立磁盘上产生互为备份的数据；
-
当原始数据繁忙时，可直接从镜像拷贝中读取数据，因此RAID 1 可以提高读取性能；
-
RAID 1是磁盘阵列中单位成本最高的,但提供了很高的数据安全性和可用性。当个磁盘失效时， 系统可以自动切换到镜像磁盘上读写，而不需要重组失效的数据
1.3 RAID 5 ---------性能与数据备份的均衡考虑
-
N (N>=3) 块盘组成阵列，一份数据产生N-1个条带，同时还有1份校验数据,共N份数据在N块盘上循环均衡存储
-
N块盘同时读写，读性能很高，但由于有校验机制的问题，写性能相对不高；
-
(N-1) /N磁盘利用率；
-
可靠性高，允许坏1块盘，不影响所有数据
1.4 RAID 6 --------更强大的数据备份
- N (N>=4) 块盘组成阵列，(N-2) N磁盘利用率；
- 与RAID 5相比，RAID 6增加了第二个独立的奇偶校验信息块；
- 两个独立的奇偶系统使用不同的算法，即使两块磁盘同时失效也不会影响数据的使用；
- 相对于RAID 5有更大的**“写损失”**因此写性能较差。
1.5 RAID 1+0 （先做镜像，再做条带）
- N (偶数，N>=4)块盘两两镜像后，再组合成一个RAID 0；
- N/2磁盘利用率；
- N/2块盘同时写入，N块盘同时读取；
- 性能高，可靠性高。
1.6 RAID 0+1 （先做镜像，再做条带）
- 读写性能与RAID 10相同；
- 安全性低于RAID 10；
- 使用较少。
二、磁盘阵列的优点
| RAID级别 | RAID 0 | RAID 1 | RAID 5 | RAID 6 | RAID 1+0 |
|---|---|---|---|---|---|
| 硬盘数量 | N | N（偶数） | N>=3 | N>=4 | N>=4（偶数） |
| 硬盘利用率 | N | N/2 | （N-1）/N | (N-2)/N | N/2 |
| 是否校验 | 无 | 无 | 有 | 有 | 无 |
| 保护能力 | 无 | 允许一个硬盘故障 | 允许一个硬盘故障 | 允许两个硬盘故障 | 允许两个硬盘故障 |
| 写性能 | 单个硬盘的N倍 | 需写两对存储设备，互为主备 | 需写计算校验 | 需双重写计算校验 | N/2块盘同时写入 |
三、硬件磁盘阵列
3.1 磁盘阵列介绍
所谓的磁盘阵列是通过磁盘阵列卡来完成磁盘阵列的功能，磁盘阵列卡上面有一块专门的芯片用于处理RAID任务，因此在性能方面会比价好。在很多任务（例如RAID5奇偶校验值计算）中，磁盘阵列并不会重复消耗原本系统的I/O总线，理论上性能会较佳，此外目前一般的中高级磁盘阵列卡都支持热插拔，即在不关机的情况下抽换损坏的磁盘，在系统的恢复和数据的可靠性方面非常好用！
3.2 阵列卡介绍
- 阵列卡是用来实现RAID功能的板卡
- 通常是由I/O处理器、硬盘控制器、硬盘连接器和缓存等一系列组件构成的
- 不同的RAID卡支持的RAID功能不同：
- 例如支持RAID0、RAID1、 RAID5、 RAID10等
- RAID卡的接口类型：
- IDE接口、SCSI接口、 SATA接口和SAS接口
3.3 阵列卡的缓存
- 缓存(Cache)是RAID卡与外部总线交换数据的场所,RAID卡先将数据传送到缓存，再由缓存和外边数据总线交换数据。
- 缓存的大小与速度是直接关系到RAID卡的实际传输速度的重要因素。
- 不同的RAID卡出厂时配备的内存容量不同，一般为几兆到数百兆容量不等。
四、软件磁盘阵列的设置
直接案例操作：以创建磁盘阵列RAID 5为例
前期准备：四块硬盘，mdadm软件包
rpm -q mdadm ###查看是否安装mdadm软件包
yum -y imstall### 安装mdadm软件包
第一步：使用fdisk工具将磁盘设备/dev/sd[bcd] 划分出主分区sd[bcd]1,并且分区类型的ID标记好为：fd
fdisk -l #查看硬盘
分区两种方式：
一种就是前面的那种常规的方式:进入交互页面操作
**另有一种方式：**不进入交互页面
第二步：创建RAID 5设备
1、查看进度的两种方式：
1.查看RAID创建进度的两种方式：
[root@cheng0307 ~]# cat /proc/mdstat
[root@cheng0307 ~]# mdadm -D /dev/md0
2.每5秒钟动态显示创建过程
[root@cheng0307 ~]# watch -n 5 'cat /proc/mdstat'
3.检查某块磁盘是否已做RAID
[root@cheng0307 ~]# mdadm -E /dev/sdb1
2、检查/dev/sdb1磁盘是否做RAID
基本语法：
mdadm -C -v /dev/md0 -a yes -l5 -n3 /dev/sd[bcd]1 -x1 /dev/sde1
选项说明：
-C：创建
-v：显示创建工程中的详细信息
-l:RAIdd等级，有0,1,6,1+0 ，0+1
-n:指定用几块硬盘创建RAID
-x:指定用几块硬盘当备用硬盘，
-a yes:自动创建md0
第三步：对RAID格式化并挂载
1.格式化
[root@cheng0307 ~]# mkfs -t xfs /dev/md0
2.挂载（非永久）
[root@cheng0307 ~]# mount /dev/md0 /opt/
第四步：模拟故障检测RAID5功能
1、进入挂载目录随便创建一些文件和文档 ,查看故障时候文件是否会消失
查看文件是否消失
第五步：创建相关配置文件
**说明：**创建/etc/mdadm.conf 配置文件，方便管理软RAID的配置，如：启动、停止等。
格式：
1.相关命令：
[root@cheng0307 opt]# echo 'DEVICE /dev/sdb1 /dev/sdc1 /dev/sdd1 /dev/sde1' > /etc/mdadm.conf
[root@cheng0307 opt]# mdadm --detail --scan >> /etc/mdadm.conf
停止，启动，移除，添加RAID设备
格式：
mdadm /dev/md0 -f /dev/sdc1 #指定硬盘故障
mdadm /dev/md -r /dev/sdc1 #移除故障硬盘
mdadm /dev/md -a /dev/sdc1 #添加指定硬盘
选项说明：
-r #移除设备
-a #添加设备
-S #停止RAID
-A #启动RAID
操作：
先查看磁盘情况：
再移除损坏的设备，添加新设备
启动，停止设备
如果没有第五步进行/etc/mdadm,conf配置文件的添加，停止后扫描不到配置文件将无法启动。
格式：
mdadm -S /dev/md0 #停止设备
mdadm -As /dev/md0 #启动设备并且查看
操作：
有时候Xshell进程会影响 移除磁盘
ps aux | grep sftp 查看
然后有xshell 进程的话就kill掉
**总结：**几个RAID的特点及应用场景
RAID 0：条带集，ABCD同时写入（至少两块硬盘），追求的是速度，速度最快，没容错，就是没冗余，100%利用率，
RAID 1：镜像集，两块盘做一个镜像（至少两块盘），读的稍微快一点，写速度一般，有容错，利用率50%
读写速度都不是太快的原因：硬盘只有一半的利用率 ，
RAID 5：带奇偶校验条带集，（n-1）/n利用率 ，至少三块硬盘，读写速率快（但不是最快，因为在读取的时候还要进行校验），有容错，允许坏一块
如果D0坏掉的话，通过A0,B0，以及校验值把D0 中的数据算出来
虽然损坏一块盘能保证数据不丢失，但是读写速率会变慢（惩罚模式），坏了一块之后，在重构时间内不能再损坏
RAID 6：带奇偶校验条带集双校验：
注意：重启新硬盘才能看见
以上是关于磁盘阵列技术的主要内容，如果未能解决你的问题，请参考以下文章
Swift新async/await并发中利用Task防止指定代码片段执行的数据竞争(Data Race)问题
php Slack.com Webhook Integration（PHP） - 简单的片段，告诉您如何构建有效负载阵列。