RAID磁盘阵列及CentOS7系统启动流程

Posted 2022-03-12 libetjohn

RAID概念

磁盘阵列（Redundant Arrays of Independent Disks，RAID），有“独立磁盘构成的具有冗余能力的阵列”之意。 磁盘阵列是由很多价格较便宜的磁盘，以硬件（RAID卡）或软件（MDADM）形式组合成一个容量巨大的磁盘组，利用多个磁盘组合在一起，提升整个磁盘系统效能。利用这项技术，将数据切割成许多区段，分别存放在各个硬盘上。 磁盘阵列还能利用同位检查（Parity Check）的观念，在数组中任意一个硬盘故障时，仍可读出数据，在数据。
注：RAID可以预防数据丢失，但是它并不能完全保证你的数据不会丢失，所以大家使用RAID的同时还是注意备份重要的数据
RAID的创建有两种方式：软RAID（通过操作系统软件来实现）和硬RAID（使用硬件阵列卡）；了解raid1、raid5和raid10。不过随着云的高速发展，供应商一般可以把硬件问题解决掉。
RAID几种常见的类型
| RAID类型 | 最低磁盘个数 | 空间利用率 | 各自的优缺点 |
| 级 别 | 说 明 |
| RAID0 | 条带卷 | 2+ | 100% | 读写速度快，不容错 |
| RAID1 | 镜像卷 | 2 | 50% | 读写速度一般，容错 |
| RAID5 | 带奇偶校验的条带卷 | 3+ | (n-1)/n | 读写速度快，容错，允许坏一块盘 |
| RAID10 | RAID1的安全+RAID0的高速 | 4 | 50% | 读写速度快，容错 |
RAID基本思想：把好几块硬盘通过一定组合方式把它组合起来，成为一个新的硬盘阵列组，从而使它能够达到高性能硬盘的要求

RAID有三个关键技术：

镜像：提供了数据的安全性；
条带（块大小也可以说是条带的粒度），它的存在的就是提供了数据并发性
数据的校验：提供了数据的安全

Raid相对于单个磁盘优点：

RAID-0的工作原理
条带 （strping），也是我们最早出现的RAID模式
需磁盘数量:2块以上(大小最好相同)，是组建磁盘阵列中最简单的一种形式，只需要2块以上的硬盘即可.特点:成本低，可以提高整个磁盘的性能。RAID 0没有提供冗余或错误修复能力，速度快.任何一个磁盘的损坏将损坏全部数据；磁盘利用率为100%。
RAID-1
mirroring（镜像卷），需要磁盘两块以上
原理:是把一个磁盘的数据镜像到另一个磁盘上，也就是说数据在写入一块磁盘的同时，会在另一块闲置的磁盘上生成镜像文件，(同步)
RAID 1 mirroring（镜像卷），至少需要两块硬盘
磁盘利用率为50%，即2块100G的磁盘构成RAID1只能提供100G的可用空间。
RAID-5
需要三块或以上硬盘，可以提供热备盘实现故障的恢复；只损坏一块，没有问题。但如果同时损坏两块磁盘，则数据将都会损坏。 空间利用率： (n-1)/n?? 2/3?
奇偶校验信息的作用:
当RAID5的一个磁盘数据发生损坏后，利用剩下的数据和相应的奇偶校验信息去恢复被损坏的数据。
扩展：异或运算
所谓的“奇偶校验”可以简单理解为二进制运算中的“异或运算”，通常用 xor 标识。
最左边的是原始数据，右边分别是三块硬盘，假设第二块硬盘出了故障，通过第一块硬盘上的 1 和第三块硬盘上的 1 xor 2，就能够还原出 2。同理可以还原出 3 和 8。至于 5 xor 6 则更简单了，直接用 5 和 6 运算出来即可。一句话解释 raid 5 的数据恢复原理就是：都是用公式算出来的。
嵌套RAID级别
RAID-10镜像+条带
RAID 10是将镜像和条带进行两级组合的RAID级别，第一级是RAID1镜像对，第二级为RAID 0。比如我们有8块盘，它是先两两做镜像，形成了新的4块盘，然后对这4块盘做RAID0；当RAID10有一个硬盘受损其余硬盘会继续工作，这个时候受影响的硬盘只有2块

RAID硬盘失效处理

一般两种处理方法：热备和热插拔
热备：HotSpare
定义：当冗余的RAID组中某个硬盘失效时，在不干扰当前RAID系统的正常使用的情况下，用RAID系统中另外一个正常的备用硬盘自动顶替失效硬盘，及时保证RAID系统的冗余性
全局式：备用硬盘为系统中所有的冗余RAID组共享
专用式：备用硬盘为系统中某一组冗余RAID组专用
如下图所示：是一个全局热备的示例，该热备盘由系统中两个RAID组共享，可自动顶替任何一个RAID中的一个失效硬盘
热插拔：HotSwap
定义：在不影响系统正常运转的情况下，用正常的物理硬盘替换RAID系统中失效硬盘。

RAID-0-1-5-10搭建及使用-删除RAID及注意事项

RAID的实现方式
面试题：我们做硬件RAID，是在装系统前还是之后？
答：先做阵列才装系统 ，一般服务器启动时，有显示进入配置Riad的提示。
硬RAID：需要RAID卡，我们的磁盘是接在RAID卡的，由它统一管理和控制。数据也由它来进行分配和维护；它有自己的cpu，处理速度快
软RAID：通过操作系统实现

Mdadm命令详解

Linux内核中有一个md(multiple devices)模块在底层管理RAID设备，它会在应用层给我们提供一个应用程序的工具mdadm ，mdadm是linux下用于创建和管理软件RAID的命令。

mdadm

mdadm命令常见参数解释：
| 参数 | 作用 |
| -a | 检测设备名称
添加磁盘
| -n | 指定设备数量 |
| -l | 指定RAID级别 |
| -C | 创建 |
| -v | 显示过程 |
| -f | 模拟设备损坏 |
| -r | 移除设备 |
| -Q | 查看摘要信息 |
| -D | 查看详细信息 |
| -S | 停止RAID磁盘阵列 |
互动： raid5需要3块硬盘。? 那么使用4块硬盘，可以做raid5吗？
可以的

实战搭建raid10阵列

第一步：添加四块磁盘
[[email protected] ~]# ls /dev/sd*
/dev/sda /dev/sda1 /dev/sda2 /dev/sdb /dev/sdc /dev/sdd /dev/sde

第二步：下载mdadm
[[email protected] ~]# yum install mdadm -y

第三步：创建RAID10阵列
[[email protected] ~]# mdadm -C -v /dev/md10 -l 10 -n 4 /dev/sdb,c,d,e
mdadm: layout defaults to n2
mdadm: layout defaults to n2
mdadm: chunk size defaults to 512K
mdadm: size set to 20954112K
mdadm: Defaulting to version 1.2 metadata
mdadm: array /dev/md10 started.

第四步：查看阵列信息
[[email protected] ~]# mdadm -D /dev/md10
/dev/md10:
Version : 1.2
Creation Time : Wed May 15 18:39:37 2019
Raid Level : raid10
Array Size : 41908224 (39.97 GiB 42.91 GB)
Used Dev Size : 20954112 (19.98 GiB 21.46 GB)
Raid Devices : 4
Total Devices : 4
Persistence : Superblock is persistent
Update Time : Wed May 15 18:40:09 2019
State : clean, resyncing
Active Devices : 4
Working Devices : 4
Failed Devices : 0
Spare Devices : 0
Layout : near=2
Chunk Size : 512K
Consistency Policy : resync
Resync Status : 15% complete
Name : ken:10 (local to host ken)
UUID : 9e7f9023:2a2fa0d0:14815344:78bc6f6b
Events : 2
Number Major Minor RaidDevice State
0 8 16 0 active sync set-A /dev/sdb
1 8 32 1 active sync set-B /dev/sdc
2 8 48 2 active sync set-A /dev/sdd
3 8 64 3 active sync set-B /dev/sde

第五步：格式化
[[email protected] ~]# mkfs.xfs /dev/md10
meta-data=/dev/md10 isize=512 agcount=16, agsize=654720 blks
= sectsz=512 attr=2, projid32bit=1
= crc=1 finobt=0, sparse=0
data = bsize=4096 blocks=10475520, imaxpct=25
= sunit=128 swidth=256 blks
naming =version 2 bsize=4096 ascii-ci=0 ftype=1
log =internal log bsize=4096 blocks=5120, version=2
= sectsz=512 sunit=8 blks, lazy-count=1
realtime =none extsz=4096 blocks=0, rtextents=0

第六步：挂载使用
[[email protected] ~]# mount /dev/md10 /ken
[[email protected] ~]# df -h
Filesystem Size Used Avail Use% Mounted on
/dev/mapper/centos-root 17G 1.4G 16G 8% /
devtmpfs 476M 0 476M 0% /dev
tmpfs 488M 0 488M 0% /dev/shm
tmpfs 488M 7.7M 480M 2% /run
tmpfs 488M 0 488M 0% /sys/fs/cgroup
/dev/sda1 1014M 130M 885M 13% /boot
tmpfs 98M 0 98M 0% /run/user/0
/dev/sr0 4.2G 4.2G 0 100% /mnt
/dev/md10 40G 33M 40G 1% /ken

第七步：创建文件
[[email protected] ~]# touch /ken/1..100.txt
[[email protected] ~]# ls /ken
100.txt 17.txt 24.txt 31.txt 39.txt 46.txt 53.txt 60.txt 68.txt 75.txt 82.txt 8.txt 97.txt
10.txt 18.txt 25.txt 32.txt 3.txt 47.txt 54.txt 61.txt 69.txt 76.txt 83.txt 90.txt 98.txt
11.txt 19.txt 26.txt 33.txt 40.txt 48.txt 55.txt 62.txt 6.txt 77.txt 84.txt 91.txt 99.txt
12.txt 1.txt 27.txt 34.txt 41.txt 49.txt 56.txt 63.txt 70.txt 78.txt 85.txt 92.txt 9.txt
13.txt 20.txt 28.txt 35.txt 42.txt 4.txt 57.txt 64.txt 71.txt 79.txt 86.txt 93.txt
14.txt 21.txt 29.txt 36.txt 43.txt 50.txt 58.txt 65.txt 72.txt 7.txt 87.txt 94.txt
15.txt 22.txt 2.txt 37.txt 44.txt 51.txt 59.txt 66.txt 73.txt 80.txt 88.txt 95.txt
16.txt 23.txt 30.txt 38.txt 45.txt 52.txt 5.txt 67.txt 74.txt 81.txt 89.txt 96.txt
[[email protected] ~]# umount /dev/md10

第八步：写入到文件
方法一、
[[email protected] ~]# echo “mount /dev/md10 /ken” >> /etc/rc.local

方法二、
[[email protected] ~]# echo “/dev/md10 /ken xfs defaults 0 0 ” >> /etc/fstab

损坏磁盘阵列及修复

之所以在生产环境中部署RAID 10磁盘阵列，是为了提高硬盘存储设备的读写速度及数据的安全性，但由于我们的硬盘设备是在虚拟机中模拟出来的，因此对读写速度的改善可能并不直观。
在确认有一块物理硬盘设备出现损坏而不能继续正常使用后，应该使用mdadm命令将其移除，然后查看RAID磁盘阵列的状态，可以发现状态已经改变。
mdadm管理RAID10阵列–模拟磁盘损坏后的处理方式

第一步：模拟损坏磁盘
[[email protected] ~]# mdadm /dev/md10 -f /dev/sdd
mdadm: set /dev/sdd faulty in /dev/md10
[[email protected] ~]# mdadm -D /dev/md10
/dev/md10:
Version : 1.2
Creation Time : Wed May 15 18:39:37 2019
Raid Level : raid10
Array Size : 41908224 (39.97 GiB 42.91 GB)
Used Dev Size : 20954112 (19.98 GiB 21.46 GB)
Raid Devices : 4
Total Devices : 4
Persistence : Superblock is persistent
Update Time : Wed May 15 18:46:53 2019
State : clean, degraded
Active Devices : 3
Working Devices : 3
Failed Devices : 1
Spare Devices : 0
Layout : near=2
Chunk Size : 512K
Consistency Policy : resync
Name : ken:10 (local to host ken)
UUID : 9e7f9023:2a2fa0d0:14815344:78bc6f6b
Events : 26
Number Major Minor RaidDevice State
0 8 16 0 active sync set-A /dev/sdb
1 8 32 1 active sync set-B /dev/sdc
– 0 0 2 removed
3 8 64 3 active sync set-B /dev/sde
2 8 48 – faulty /dev/sdd #显示/dev/sdd磁盘已经损坏

第二步：重启

第三步：添加磁盘
[[email protected] ~]# mdadm /dev/md10 -a /dev/sdd
mdadm: added /dev/sdd
[[email protected] ~]# mdadm -D /dev/md10
/dev/md10:
Version : 1.2
Creation Time : Wed May 15 18:39:37 2019
Raid Level : raid10
Array Size : 41908224 (39.97 GiB 42.91 GB)
Used Dev Size : 20954112 (19.98 GiB 21.46 GB)
Raid Devices : 4
Total Devices : 4
Persistence : Superblock is persistent
Update Time : Wed May 15 18:49:56 2019
State : clean, degraded, recovering
Active Devices : 3
Working Devices : 4
Failed Devices : 0
Spare Devices : 1
Layout : near=2
Chunk Size : 512K
Consistency Policy : resync
Rebuild Status : 9% complete
Name : ken:10 (local to host ken)
UUID : 9e7f9023:2a2fa0d0:14815344:78bc6f6b
Events : 29
Number Major Minor RaidDevice State
0 8 16 0 active sync set-A /dev/sdb
1 8 32 1 active sync set-B /dev/sdc
4 8 48 2 spare rebuilding /dev/sdd
3 8 64 3 active sync set-B /dev/sde

实战搭建raid5阵列+备份盘

为了避免多个实验之间相互发生冲突，我们需要保证每个实验的相对独立性，为此需要大家自行将虚拟机还原到初始状态。另外，由于刚才已经演示了RAID 10磁盘阵列的部署方法，我们现在来看一下RAID 5的部署效果。部署RAID 5磁盘阵列时，至少需要用到3块硬盘，还需要再加一块备份硬盘，所以总计需要在虚拟机中模拟4块硬盘设备。

第一步：添加四块磁盘
[[email protected] ~]# ls /dev/sd*
/dev/sda /dev/sda1 /dev/sda2 /dev/sdb /dev/sdc /dev/sdd /dev/sde

第二步：创建磁盘阵列RAID5
失败演示：
[[email protected] ~]# mdadm -C /dev/ken -l 5 -n 3 -x 1 /dev/sdb,c,d,e #磁盘阵列名需要以md开头
mdadm: /dev/ken is an invalid name for an md device. Try /dev/md/ken
正确演示：
[[email protected] ~]# mdadm -C /dev/md5 -l 5 -n 3 -x 1 /dev/sdb,c,d,e
mdadm: Defaulting to version 1.2 metadata
mdadm: array /dev/md5 started.

第三步：查看阵列信息
[[email protected] ~]# mdadm -D /dev/md5
/dev/md5:
Version : 1.2
Creation Time : Wed May 15 19:08:06 2019
Raid Level : raid5
Array Size : 41908224 (39.97 GiB 42.91 GB)
Used Dev Size : 20954112 (19.98 GiB 21.46 GB)
Raid Devices : 3
Total Devices : 4
Persistence : Superblock is persistent
Update Time : Wed May 15 19:09:16 2019
State : clean, degraded, recovering
Active Devices : 2
Working Devices : 4
Failed Devices : 0
Spare Devices : 2
Layout : left-symmetric
Chunk Size : 512K
Consistency Policy : resync
Rebuild Status : 44% complete
Name : ken:5 (local to host ken)
UUID : 118db989:9ac48e2f:30313d35:4a0268e7
Events : 8
Number Major Minor RaidDevice State
0 8 16 0 active sync /dev/sdb
1 8 32 1 active sync /dev/sdc
4 8 48 2 spare rebuilding /dev/sdd
3 8 64 – spare /dev/sde

第四步：格式化
[[email protected] ~]# mkfs.xfs /dev/md5
meta-data=/dev/md5 isize=512 agcount=16, agsize=654720 blks
= sectsz=512 attr=2, projid32bit=1
= crc=1 finobt=0, sparse=0
data = bsize=4096 blocks=10475520, imaxpct=25
= sunit=128 swidth=256 blks
naming =version 2 bsize=4096 ascii-ci=0 ftype=1
log =internal log bsize=4096 blocks=5120, version=2
= sectsz=512 sunit=8 blks, lazy-count=1
realtime =none extsz=4096 blocks=0, rtextents=0

第五步：挂载
[[email protected] ~]# mkdir /ken
[[email protected] ~]# mount /dev/md5 /ken

mdadm管理RAID5阵列–模拟磁盘损坏后的处理方式

第一步：查看阵列状态
[[email protected] ~]# mdadm -D /dev/md5
/dev/md5:
Version : 1.2
Creation Time : Wed May 15 19:08:06 2019
Raid Level : raid5
Array Size : 41908224 (39.97 GiB 42.91 GB)
Used Dev Size : 20954112 (19.98 GiB 21.46 GB)
Raid Devices : 3
Total Devices : 4
Persistence : Superblock is persistent
Update Time : Wed May 15 19:11:12 2019
State : clean
Active Devices : 3
Working Devices : 4
Failed Devices : 0
Spare Devices : 1
Layout : left-symmetric
Chunk Size : 512K
Consistency Policy : resync
Name : ken:5 (local to host ken)
UUID : 118db989:9ac48e2f:30313d35:4a0268e7
Events : 22
Number Major Minor RaidDevice State
0 8 16 0 active sync /dev/sdb
1 8 32 1 active sync /dev/sdc
4 8 48 2 active sync /dev/sdd
3 8 64 – spare /dev/sde

第二步：模拟/dev/sdd磁盘损坏
[[email protected] ~]# mdadm /dev/md5 -f /dev/sdd
mdadm: set /dev/sdd faulty in /dev/md5

第三步：查看阵列状态
[[email protected] ~]# mdadm -D /dev/md5
/dev/md5:
Version : 1.2
Creation Time : Wed May 15 19:08:06 2019
Raid Level : raid5
Array Size : 41908224 (39.97 GiB 42.91 GB)
Used Dev Size : 20954112 (19.98 GiB 21.46 GB)
Raid Devices : 3
Total Devices : 4
Persistence : Superblock is persistent
Update Time : Wed May 15 19:13:23 2019
State : clean, degraded, recovering
Active Devices : 2
Working Devices : 3
Failed Devices : 1
Spare Devices : 1
Layout : left-symmetric
Chunk Size : 512K
Consistency Policy : resync
Rebuild Status : 9% complete
Name : ken:5 (local to host ken)
UUID : 118db989:9ac48e2f:30313d35:4a0268e7
Events : 25
Number Major Minor RaidDevice State
0 8 16 0 active sync /dev/sdb
1 8 32 1 active sync /dev/sdc
3 8 64 2 spare rebuilding /dev/sde
4 8 48 – faulty /dev/sdd

centos7系统启动过程及相关配置文件

1.uefi或Bios初始化，开始post(power on self test)开机自检
2.加载MBR到内存
3.GRUB阶段
4.加载内核和initramfs模块
5.内核开始初始化，使用systemd来代替centos6以前的init程序
(1)执行initrd.target
包括挂载/etc/fstab文件中的系统,此时挂载后，就可以切换到根目录了
(2)从initramfs根文件系统切换到磁盘根目录
(3)systemd执行默认target配置
centos7表面是有“运行级别”这个概念，实际上是为了兼容以前的系统，每个所谓的“运行级别”都有对应的软连接指向，默认的启动级别时/etc/systemd/system/default.target,根据它的指向可以找到系统要进入哪个模式?
模式：
0 ==> runlevel0.target, poweroff.target –>关机
1 ==> runlevel1.target, rescue.target –> 单人用户模式
2 ==> runlevel2.target, multi-user.target –> 无网络的多用户模式
3 ==> runlevel3.target, multi-user.target –> 多用户模式
4 ==> runlevel4.target, multi-user.target –> 保留位
5 ==> runlevel5.target, graphical.target –>图形界面
6 ==> runlevel6.target, reboot.target –> 重启
有没有很眼熟？是的，在CentOS6上是被叫做rc.sysint程序，初始化系统及basic.target准备操作系统
(5)systemd启动multi-user.target下的本机与服务器服务
(6)systemd执行multi-user.target下的/etc/rc.d/rc.local
6.Systemd执行multi-user.target下的getty.target及登录服务
getty.target我们也眼熟，它是启动终端的systemd对象。如果到此步骤，系统没有被指定启动图形桌面，到此就可以结束了，如果要启动图形界面，需要在此基础上启动桌面程序
centos6系统中使用 /etc/inittab 管理运行级别，但是在centos7中已经废弃了该文件
使用方式:
init 0 —》关机
init 3 —》多用户模式
init5 —》图形界面
7.systemd执行graphical需要的服务

CentOS6，7启动区别

系统启动和服务器守护进程管理器，它不同于centos5的Sysv init，centos6的Upstart（Ubuntu制作出来），systemd是由Redhat的一个员工首先提出来的，它在内核启动后，服务什么的全都被systemd接管，kernel只是用来管理硬件资源，相当于内核被架空了，因此linus很不满意Redhat这种做法。