RAID 构建

Posted Sun珊珊来迟

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了RAID 构建相关的知识,希望对你有一定的参考价值。

RAID的创建

第一步:先查看我们系统的磁盘情况
NAME   MAJ:MIN RM  SIZE RO TYPE MOUNTPOINT
sda      8:0    0   20G  0 disk
├─sda1   8:1    0  200M  0 part /boot
├─sda2   8:2    0    2G  0 part [SWAP]
└─sda3   8:3    0 17.8G  0 part /
sdb      8:16   0  200G  0 disk
├─sdb1   8:17   0    1G  0 part
├─sdb2   8:18   0    1G  0 part
├─sdb3   8:19   0    1G  0 part
├─sdb4   8:20   0    1K  0 part
├─sdb5   8:21   0    1G  0 part
└─sdb6   8:22   0    1G  0 part
sdc      8:32   0  100G  0 disk
sr0     11:0    1  3.7G  0 rom 
第二步:删掉一些不用的磁盘
[r[email protected] ~]# dd if=/dev/zero of=/dev/sdb bs=1 count=512
512+0 records in
512+0 records out
512 bytes (512 B) copied, 0.376112 s, 1.4 kB/s
第三步:同步一下内存信息
[[email protected] ~]# partx -d --nr 1-6 /dev/sdb
NAME   MAJ:MIN RM  SIZE RO TYPE MOUNTPOINT
sda      8:0    0   20G  0 disk
├─sda1   8:1    0  200M  0 part /boot
├─sda2   8:2    0    2G  0 part [SWAP]
└─sda3   8:3    0 17.8G  0 part /
sdb      8:16   0  200G  0 disk
sdc      8:32   0  100G  0 disk
sr0     11:0    1  3.7G  0 rom 
第四步:现在我们创建一个RAID-0
A:创建分区(最少三个)
[[email protected] ~]# fdisk /dev/sdb
 
WARNING: GPT (GUID Partition Table) detected on ‘/dev/sdb‘! The util fdisk doesn‘t support GPT. Use GNU Parted.
 
Device contains neither a valid DOS partition table, nor Sun, SGI or OSF disklabel
Building a new DOS disklabel with disk identifier 0x4a846ad4.
Changes will remain in memory only, until you decide to write them.
After that, of course, the previous content won‘t be recoverable.
 
Warning: invalid flag 0x0000 of partition table 4 will be corrected by w(rite)
 
WARNING: DOS-compatible mode is deprecated. It‘s strongly recommended to
         switch off the mode (command ‘c‘) and change display units to
         sectors (command ‘u‘).
 
Command (m for help): n
Command action
   e   extended
   p   primary partition (1-4)
p
Partition number (1-4): 1
First cylinder (1-26108, default 1):
Using default value 1
Last cylinder, +cylinders or +size{K,M,G} (1-26108, default 26108): +2G     
 
Command (m for help): P
 
Disk /dev/sdb: 214.7 GB, 214748364800 bytes
255 heads, 63 sectors/track, 26108 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk identifier: 0x4a846ad4
 
   Device Boot      Start         End      Blocks   Id  System
/dev/sdb1               1         262     2104483+  83  Linux
 
Command (m for help): m   
Command action
   a   toggle a bootable flag
   b   edit bsd disklabel
   c   toggle the dos compatibility flag
   d   delete a partition
   l   list known partition types
   m   print this menu
   n   add a new partition
   o   create a new empty DOS partition table
   p   print the partition table
   q   quit without saving changes
   s   create a new empty Sun disklabel
   t   change a partition‘s system id
   u   change display/entry units
   v   verify the partition table
   w   write table to disk and exit
   x   extra functionality (experts only)
 
Command (m for help): t
Selected partition 1
Hex code (type L to list codes): L
 
 0  Empty           24  NEC DOS         81  Minix / old Lin bf  Solaris       
 1  FAT12           39  Plan 9          82  Linux swap / So c1  DRDOS/sec (FAT-
 2  XENIX root      3c  PartitionMagic  83  Linux           c4  DRDOS/sec (FAT-
 3  XENIX usr       40  Venix 80286     84  OS/2 hidden C:  c6  DRDOS/sec (FAT-
 4  FAT16 <32M      41  PPC PReP Boot   85  Linux extended  c7  Syrinx         
 5  Extended        42  SFS             86  NTFS volume set da  Non-FS data   
 6  FAT16           4d  QNX4.x          87  NTFS volume set db  CP/M / CTOS / .
 7  HPFS/NTFS       4e  QNX4.x 2nd part 88  Linux plaintext de  Dell Utility   
 8  AIX             4f  QNX4.x 3rd part 8e  Linux LVM       df  BootIt         
 9  AIX bootable    50  OnTrack DM      93  Amoeba          e1  DOS access     
 a  OS/2 Boot Manag 51  OnTrack DM6 Aux 94  Amoeba BBT      e3  DOS R/O       
 b  W95 FAT32       52  CP/M            9f  BSD/OS          e4  SpeedStor     
 c  W95 FAT32 (LBA) 53  OnTrack DM6 Aux a0  IBM Thinkpad hi eb  BeOS fs       
 e  W95 FAT16 (LBA) 54  OnTrackDM6      a5  FreeBSD         ee  GPT           
 f  W95 Ext‘d (LBA) 55  EZ-Drive        a6  OpenBSD         ef  EFI (FAT-12/16/
10  OPUS            56  Golden Bow      a7  NeXTSTEP        f0  Linux/PA-RISC b
11  Hidden FAT12    5c  Priam Edisk     a8  Darwin UFS      f1  SpeedStor     
12  Compaq diagnost 61  SpeedStor       a9  NetBSD          f4  SpeedStor     
14  Hidden FAT16 <3 63  GNU HURD or Sys ab  Darwin boot     f2  DOS secondary 
16  Hidden FAT16    64  Novell Netware  af  HFS / HFS+      fb  VMware VMFS   
17  Hidden HPFS/NTF 65  Novell Netware  b7  BSDI fs         fc  VMware VMKCORE
18  AST SmartSleep  70  DiskSecure Mult b8  BSDI swap       fd  Linux raid auto  (raid标签,也可以不选则,但是不方便后期查找)
1b  Hidden W95 FAT3 75  PC/IX           bb  Boot Wizard hid fe  LANstep       
1c  Hidden W95 FAT3 80  Old Minix       be  Solaris boot    ff  BBT           
1e  Hidden W95 FAT1
Hex code (type L to list codes): fd
Changed system type of partition 1 to fd (Linux raid autodetect)
 
Command (m for help): w
The partition table has been altered!
 
Calling ioctl() to re-read partition table.
Syncing disks.
 
创建的过程中,需要特别注意的是选择磁盘的RAID的型号这个动作一定要记得
b:创建一块RAID磁盘后可以检查;
NAME   MAJ:MIN RM  SIZE RO TYPE MOUNTPOINT
sda      8:0    0   20G  0 disk
├─sda1   8:1    0  200M  0 part /boot
├─sda2   8:2    0    2G  0 part [SWAP]
└─sda3   8:3    0 17.8G  0 part /
sdb      8:16   0  200G  0 disk
└─sdb1   8:17   0    2G  0 part
sdc      8:32   0  100G  0 disk
sr0     11:0    1  3.7G  0 rom 
c:相同的步骤可以继续分出3个相同的分区
 
NAME   MAJ:MIN RM  SIZE RO TYPE MOUNTPOINT
sda      8:0    0   20G  0 disk
├─sda1   8:1    0  200M  0 part /boot
├─sda2   8:2    0    2G  0 part [SWAP]
└─sda3   8:3    0 17.8G  0 part /
sdb      8:16   0  200G  0 disk
├─sdb1   8:17   0    2G  0 part
├─sdb2   8:18   0    2G  0 part
├─sdb3   8:19   0    2G  0 part
├─sdb4   8:20   0    1K  0 part
└─sdb5   8:21   0    2G  0 part
sdc      8:32   0  100G  0 disk
sr0     11:0    1  3.7G  0 rom 
d:分区OK后我们现在需要确认一下系统中是否有RAID磁盘
例:[[email protected] ~]# ll /dev/md*
      ls: cannot access /dev/md*: No such file or directory
e:我们先分一个RIAD-0阵列
 
[[email protected] ~]# mdadm -C /dev/md0 -a yes -l 0 -n 2 /dev/sdb1 /dev/sdb2
mdadm: /dev/sdb1 appears to contain an ext2fs file system    提醒的错误显示之前sdb这个磁盘有以前实验ext2格式,不用在意直接y选项
       size=1060256K  mtime=Thu Jan  1 08:00:00 1970
Continue creating array? y
mdadm: Defaulting to version 1.2 metadata
mdadm: array /dev/md0 started.
 
现在可以查看一下创建的过程
 
[[email protected] ~]# mdadm -D /dev/md0
/dev/md0:
        Version : 1.2
  Creation Time : Mon Apr 24 10:09:02 2017
     Raid Level : raid0 (RAID级别)
     Array Size : 4204544 (4.01 GiB 4.31 GB)
   Raid Devices : 2
  Total Devices : 2
    Persistence : Superblock is persistent
 
    Update Time : Mon Apr 24 10:09:02 2017
          State : clean
 Active Devices : 2
Working Devices : 2
 Failed Devices : 0
  Spare Devices : 0  
 
     Chunk Size : 512K  (默认大小)
 
           Name : station40.magelinux.com:0  (local to host station40.magelinux.com)
           UUID : b08b2229:03516277:61d40ba7:0c5be81b   (此处的UUID和之前的分区的UUID不是一样)
         Events : 0
 
    Number   Major   Minor   RaidDevice State
       0       8       17        0      active sync   /dev/sdb1   (两个设备组成)
       1       8       18        1      active sync   /dev/sdb2
 
f:下面我们将它格式化(需要注意的是我们格式化是放在创建RAID之后进行统一格式化处理)
 
[[email protected] ~]# mkfs.ext4 /dev/md0
mke2fs 1.41.12 (17-May-2010)
Filesystem label=
OS type: Linux
Block size=4096 (log=2)
Fragment size=4096 (log=2)
Stride=128 blocks, Stripe width=256 blocks
262944 inodes, 1051136 blocks
52556 blocks (5.00%) reserved for the super user
First data block=0
Maximum filesystem blocks=1077936128
33 block groups
32768 blocks per group, 32768 fragments per group
7968 inodes per group
Superblock backups stored on blocks:
    32768, 98304, 163840, 229376, 294912, 819200, 884736
 
Writing inode tables: done                           
Creating journal (32768 blocks): done
Writing superblocks and filesystem accounting information: done
 
This filesystem will be automatically checked every 38 mounts or
180 days, whichever comes first.  Use tune2fs -c or -i to override
 
接着查看磁盘情况:
 
/dev/sda3: UUID="953e4427-c667-41a4-9bee-b8c4ab55ce42" TYPE="ext4"
/dev/sda1: UUID="18e40da7-01ac-483c-a427-566276b7fbcd" TYPE="ext4"
/dev/sda2: UUID="af50c30e-5861-4125-ad83-bc74b88b2c6a" TYPE="swap"
/dev/sdb1: UUID="88cadd96-353c-4b02-bf7b-3c4eea28adc1" TYPE="ext4"
/dev/sdb2: UUID="b08b2229-0351-6277-61d4-0ba70c5be81b" UUID_SUB="a6244ed9-665b-2474-a3ea-60bf2458bd8b" LABEL="station40.magelinux.com:0" TYPE="linux_raid_member"
/dev/md0: UUID="dabc8242-0315-4987-9ec6-7e5b652ec77d" TYPE="ext4"
 
g:格式化之后我们就可以进行挂载了; 
[[email protected] ~]# mkdir -p /mut/raid0
[[email protected] ~]# mount /dev/md0 /mut/raid0/
 
 
h:现在可以测试一下写性能:
[email protected] /mut/raid0]# dd if=/dev/zero of=file bs=1M count=1024
1024+0 records in
1024+0 records out
1073741824 bytes (1.1 GB) copied, 18.0445 s, 59.5 MB/s
      现在测试写的性能:
[[email protected] /mut/raid0]# dd if=file of=/dev/null
4194304+0 records in
4194304+0 records out
2147483648 bytes (2.1 GB) copied, 3.67849 s, 584 MB/s
 
第五步:现在我们创建一个RAID-5
 a:因为考虑到目前没有备用磁盘sparedisk,所以需要加一块;
 b;添加OK后就可以开始raid-5的创建
[[email protected] /mut/raid0]# mdadm -C /dev/md5 -a yes -l 5 -n 3 -x 1 /dev/sdb3 /dev/sdb5 /dev/sdb6 /dev/sdb7 (红色为增加的备用磁盘为1块磁盘为/dev/sdb7)
mdadm: Defaulting to version 1.2 metadata
mdadm: array /dev/md5 started.
 
c.创建OK后可以检查
 
[[email protected] /mut/raid0]# mdadm -D /dev/md5
/dev/md5:
        Version : 1.2
  Creation Time : Mon Apr 24 11:21:44 2017
     Raid Level : raid5
     Array Size : 4204544 (4.01 GiB 4.31 GB)
  Used Dev Size : 2102272 (2.00 GiB 2.15 GB)
   Raid Devices : 3
  Total Devices : 4
    Persistence : Superblock is persistent
 
    Update Time : Mon Apr 24 11:22:07 2017
          State : clean
 Active Devices : 3
Working Devices : 4
 Failed Devices : 0
  Spare Devices : 1
 
         Layout : left-symmetric
     Chunk Size : 512K
 
           Name : station40.magelinux.com:5  (local to host station40.magelinux.com)
           UUID : 45fad8bb:492498b4:7a0adc06:19f0a544
         Events : 18
 
    Number   Major   Minor   RaidDevice State
       0       8       19        0      active sync   /dev/sdb3
       1       8       21        1      active sync   /dev/sdb5
       4       8       22        2      active sync   /dev/sdb6
 
       3       8       23        -      spare   /dev/sdb7
d:接着进行格式化处理
[[email protected] /mut/raid0]# mkfs.ext4 /dev/md5
mke2fs 1.41.12 (17-May-2010)
Filesystem label=
OS type: Linux
Block size=4096 (log=2)
Fragment size=4096 (log=2)
Stride=128 blocks, Stripe width=256 blocks
262944 inodes, 1051136 blocks
52556 blocks (5.00%) reserved for the super user
First data block=0
Maximum filesystem blocks=1077936128
33 block groups
32768 blocks per group, 32768 fragments per group
7968 inodes per group
Superblock backups stored on blocks:
    32768, 98304, 163840, 229376, 294912, 819200, 884736
 
Writing inode tables: done                           
Creating journal (32768 blocks): done
Writing superblocks and filesystem accounting information: done
 
This filesystem will be automatically checked every 34 mounts or
180 days, whichever comes first.  Use tune2fs -c or -i to override.
e:现在可以查看系统中的raid的情况
[[email protected] ~]# mdadm -Ds
ARRAY /dev/md0 metadata=1.2 name=station40.magelinux.com:0 UUID=b08b2229:03516277:61d40ba7:0c5be81b
ARRAY /dev/md5 metadata=1.2 spares=1 name=station40.magelinux.com:5 UUID=45fad8bb:492498b4:7a0adc06:19f0a544
 
f:现在我们可以检查raid-5的容错性先
[[email protected] ~]# mdadm -Ds > /etc/mdadm.conf  (我们需要将系统中的raid设备加载至其配置文件中,这样就不会影响开关机)
同时我们取消raid的挂载
[[email protected] ~]# umount  /mut/raid0
然后我们就可以禁用raid设备了
[[email protected] ~]# mdadm -S /dev/md0 stop
mdadm: stopped /dev/md0
mdadm: Cannot open stop
禁用后我们查看该设备是看不到的
[email protected] ~]# ll /dev/md0
ls: cannot access /dev/md0: No such file or directory
现在可以启用该设备了(这里如果开始没有写配置文件的那一步则这次就无法启动的)
[[email protected] ~]# mdadm -A /dev/md0
mdadm: /dev/md0 has been started with 2 drives
g:现在可以模拟将RAID-5中的sdb3损坏
[[email protected] ~]# mdadm /dev/md5 -f /dev/sdb3
mdadm: set /dev/sdb3 faulty in /dev/md5
现在可以看下系统中raid-5的情况
 
 
[[email protected] ~]# mdadm -D /dev/md5
/dev/md5:
        Version : 1.2
  Creation Time : Mon Apr 24 11:21:44 2017
     Raid Level : raid5
     Array Size : 4204544 (4.01 GiB 4.31 GB)
  Used Dev Size : 2102272 (2.00 GiB 2.15 GB)
   Raid Devices : 3
  Total Devices : 4
    Persistence : Superblock is persistent
 
    Update Time : Mon Apr 24 17:30:21 2017
          State : clean
 Active Devices : 3
Working Devices : 3
 Failed Devices : 1   (一块损坏状态)
  Spare Devices : 0
 
         Layout : left-symmetric
     Chunk Size : 512K
 
           Name : station40.magelinux.com:5  (local to host station40.magelinux.com)
           UUID : 45fad8bb:492498b4:7a0adc06:19f0a544
         Events : 37
 
    Number   Major   Minor   RaidDevice State  
       3       8       23        0      active sync   /dev/sdb7   (备用的磁盘挂上去了)
       1       8       21        1      active sync   /dev/sdb5
       4       8       22        2      active sync   /dev/sdb6
 
       0       8       19        -      faulty   /dev/sdb3
 
h:现在我们把损坏的硬盘移除掉
 
[[email protected] ~]# mdadm /dev/md5 -r /dev/sdb3
mdadm: hot removed /dev/sdb3 from /dev/md5
[[email protected] ~]# mdadm -D /dev/md5
/dev/md5:
        Version : 1.2
  Creation Time : Mon Apr 24 11:21:44 2017
     Raid Level : raid5
     Array Size : 4204544 (4.01 GiB 4.31 GB)
  Used Dev Size : 2102272 (2.00 GiB 2.15 GB)
   Raid Devices : 3
  Total Devices : 3
    Persistence : Superblock is persistent
 
    Update Time : Mon Apr 24 17:45:48 2017
          State : clean
 Active Devices : 3
Working Devices : 3
 Failed Devices : 0
  Spare Devices : 0
 
         Layout : left-symmetric
     Chunk Size : 512K
 
           Name : station40.magelinux.com:5  (local to host station40.magelinux.com)
           UUID : 45fad8bb:492498b4:7a0adc06:19f0a544
         Events : 38
 
    Number   Major   Minor   RaidDevice State
       3       8       23        0      active sync   /dev/sdb7
       1       8       21        1      active sync   /dev/sdb5
       4       8       22        2      active sync   /dev/sdb6
 
可以看到/dev/sdb3已经被移除。
 
现在我们再追加一个磁盘
[[email protected] ~]# mdadm /dev/md5 -a /dev/sdb3
mdadm: added /dev/sdb3
[[email protected] ~]# mdadm -D /dev/md5
/dev/md5:
        Version : 1.2
  Creation Time : Mon Apr 24 11:21:44 2017
     Raid Level : raid5
     Array Size : 4204544 (4.01 GiB 4.31 GB)
  Used Dev Size : 2102272 (2.00 GiB 2.15 GB)
   Raid Devices : 3
  Total Devices : 4
    Persistence : Superblock is persistent
 
    Update Time : Mon Apr 24 17:49:13 2017
          State : clean
 Active Devices : 3
Working Devices : 4
 Failed Devices : 0
  Spare Devices : 1
 
         Layout : left-symmetric
     Chunk Size : 512K
 
           Name : station40.magelinux.com:5  (local to host station40.magelinux.com)
           UUID : 45fad8bb:492498b4:7a0adc06:19f0a544
         Events : 39
 
    Number   Major   Minor   RaidDevice State
       3       8       23        0      active sync   /dev/sdb7
       1       8       21        1      active sync   /dev/sdb5
       4       8       22        2      active sync   /dev/sdb6
 
       5       8       19        -      spare   /dev/sdb3
 
 
同时我们需要知道当我们增加raid磁盘阵列需要增加成员的的时候可以使用
将磁盘增加至4块
[[email protected] ~]# mdadm -G /dev/md5 -n 4 -a /dev/sdb3
增加的磁盘因为没有文件系统所以需要在添加OK后同步一下RAID的文件格式
[[email protected] ~]# resize3fs /dev/md5

以上是关于RAID 构建的主要内容,如果未能解决你的问题,请参考以下文章

构建软RAID5磁盘阵列&RAID设备恢复

RAID 构建

Open-E DSS V7 应用系列之四 构建软件RAID

Glusterfs构建企业级分布式存储

drbd+corosync+pacemaker构建高可用MySQL集群

RAID级别(自用整理)