LinuxDay12——磁盘存储和文件系统

Posted 2020-11-01 Welcome My blog

　　

一、硬盘简介

机械硬盘（HDD）：Hard Disk Drive，即是传统普通硬盘，主要由：盘片，磁头，盘片转轴及控制电机，磁头控制器，数据转换器，接口，缓存等几个部分组成。机械硬盘中所有的盘片都装在一个旋转轴上，每张盘片之间是平行的，在每个盘片的存储面上有一个磁头，磁头与盘片之间的距离比头发丝的直径还小，所有的磁头联在一个磁头控制器上，由磁头控制器负责各个磁头的运动。磁头可沿盘片的半径方向运动，加上盘片每分钟几千转的高速旋转，磁头就可以定位在盘片的指定位置上进行数据的读写操作。数据通过磁头由电磁流来改变极性方式被电磁流写到磁盘上，也可以通过相反方式读取。硬盘为精密设备，进入硬盘的空气必须过滤

固态硬盘（SSD）：Solid State Drive，用固态电子存储芯片阵列而制成的硬盘，由控制单元和存储单元（FLASH芯片、DRAM芯片）组成。固态硬盘在接口的规范和定义、功能及使用方法上与普通硬盘的完全相同，在产品外形和尺寸上也与普通硬盘一致

相较于HDD，SSD在防震抗摔、传输速率、功耗、重量、噪音上有明显优势，SSD传输速率性能是HDD的2倍

相较于SSD，HDD在价格、容量、使用寿命上占有绝对优势

1、硬盘存储术语

 

 

 

　　sector 扇区：在硬盘上每个磁道上的扇区用6bit标识，每个磁道最多标识64个扇区，每个扇区512byte

　　track 磁道：磁道数等于磁头数，理论上256个

　　head 磁头 ：在硬盘上磁头用8bit标识，最多标识256个磁头

　　cylinder 柱面 ：在硬盘柱面用10bit标识，最多标识1024个柱面

 

　　磁盘容量计算方式：扇区大小*64*256*1024=8589934592=8G

　　因此早期的硬盘无法突破8G容量

　　以上这种方式会浪费很多磁盘空间 (与软盘一样). 为了解决这一问题, 进一步提高硬盘容量, 人们改用等密度结构生产硬盘.也就是说,外圈磁道的扇区比内圈磁道多. 采用这种结构后, 硬盘不再具有实际的3D参数, 寻址方式也改为线性寻址,即以扇区为单位进行寻址。

二、硬盘分区

磁盘分区是使用分区编辑器（partition editor）在磁盘上划分几个逻辑部分，盘片一旦划分成数个分区，不同类的目录与文件可以存储进不同的分区。越多分区，也就有更多不同的地方，可以将文件的性质区分得更细，按照更为细分的性质，存储在不同的地方以管理文件；但太多分区就成了麻烦。空间管理、访问许可与目录搜索的方式，依属于安装在分区上的文件系统。当改变大小的能力依属于安装在分区上的文件系统时，需要谨慎地考虑分区的大小。

1、硬盘为什要分区

1. 优化I/O性能
2. 实现磁盘空间配额限
3. 提高修复速度
4. 隔离系统和程序
5. 安装多个OS
6. 采用不同文件系统

2、分区表类型（MBR和GPT）

MBR: Master Boot Record 主引导记录

又叫做主引导扇区，是计算机开机后访问硬盘时所必须要读取的首个扇区，它在硬盘上的三维地址为（柱面，磁头，扇区）＝（0，0，1）。在深入讨论主引导扇区内部结构的时候，有时也将其开头的446字节内容特指为“主引导记录”（MBR），其后是4个16字节的“磁盘分区表”（DPT），以及2字节的结束标志（55AA）。因此，在使用“主引导记录”（MBR）这个术语的时候，需要根据具体情况判断其到底是指整个主引导扇区，还是主引导扇区的前446字节。

mbr分区用4个字节存储分区的总扇区数，最大能表示2的32次方的扇区个数，按每扇区512字节计算（2^32*512byte=2199023255552byte=2T），所以mbr无法识别大于2T以后的空间

0磁道0扇区：512bytes

446bytes：boot loader

64bytes：分区表，16bytes标识一个分区，支持4个分区，或者3个主分区和一个扩展分区

2bytes：分区标示位 55AA

MBR分区结构：

GPT: Globals Unique Identifiers

是一个实体硬盘的分区表的结构布局的标准。它是可扩展固件接口（EFI）标准（被Intel用于替代个人计算机的Bios）的一部分，被用于替代BIOS系统中的一32bits来存储逻辑块地址和大小信息的主引导记录（MBR）分区表。对于那些扇区为512字节的磁盘，MBR分区表不支持容量大于2.2TB（2.2×10¹²字节）^[1]的分区，然而，一些硬盘制造商（诸如希捷和西部数据）注意到这个局限性，并且将他们的容量较大的磁盘升级到4KB的扇区，这意味着MBR的有效容量上限提升到16 TiB。 这个看似“正确的”解决方案，在临时地降低人们对改进磁盘分配表的需求的同时，也给市场带来关于在有较大的块（block）的设备上从BIOS启动时，如何最佳的划分磁盘分区的困惑。GPT分配64bits给逻辑块地址，因而使得最大分区大小在2⁶⁴-1个扇区成为可能。对于每个扇区大小为512字节的磁盘，那意味着可以有9.4ZB（9.4×10²¹字节）或8 ZiB个512字节（9,444,732,965,739,290,426,880字节或18,446,744,073,709,551,615（2⁶⁴-1）个扇区×512（2⁹）字节每扇区）

GPT支持128个分区，使用64位表示扇区，如果每个扇区是512Byte，理论上则支持8Z的磁盘。

使用128位UUID(Universally Unique Identifier) 表示磁盘和分区 GPT分区表
自动备份在头和尾两份，并有CRC校验位
UEFI (统一扩展固件接口)硬件支持GPT，使操作系统启动

gpt分区结构：

 

3、LINUX中的分区管理

LINUX中硬盘及分区工具的标识

在早期系统中硬盘的标识区分接口，比如IED接口的硬盘在/dev/以hd[a-z]标识，新系统中都以sd[a-z]来标识，不区分接口了

分区由数字来标识，比如硬盘是sda，那此硬盘的第一个分区为sda1，第二个为sda2，依次类推

在LINUX中一切皆文件，设备是以文件的方式标识，设备有主设备号和次设备号，主设备号表示不同类型的设备，次设备号表示同类设备的不同设备

LINUX中管理分区的工具

fdisk /dev/DISK

　　-l：列出分区信息

　　-c：使用非柱面模式

　　交互式：

　　p：打印当前分区表

　　m：帮助

　　n：添加新分区

　　d：删除分区

　　w：保存退出

　　l：列出分区类型

　　t：修改分区类型

　　q 不保存并退出

gdisk：用来管理gpt分区，用法和fdisk相似

parted /dev/DISK

　　mklabel {gpt|msdos} 设置硬盘的分区表类型，也可以进入交互式模式

　　-l：列出分区信息

　　交互式

partprobe 同步分区表，但在红帽系列6.x上有bug

partx

　　-a /dev/sda 同步分区表（6.x），在增加分区出现不同步时使用

　　-d --nr m-n /dev/sda 同步分区表（6.x），在删除分区出现不同步时使用

lsblk 查看内存现在生效的分区表

三、文件系统

文件系统是操作系统用于明确存储设备（常见的是磁盘，也有基于NAND Flash的固态硬盘）或分区上的文件的方法和数据结构；即在存储设备上组织文件的方法。操作系统中负责管理和存储文件信息的软件机构称为文件管理系统，简称文件系统。文件系统由三部分组成：文件系统的接口，对对象操纵和管理的软件集合，对象及属性。从系统角度来看，文件系统是对文件存储设备的空间进行组织和分配，负责文件存储并对存入的文件进行保护和检索的系统。具体地说，它负责为用户建立文件，存入、读出、修改、转储文件，控制文件的存取，当用户不再使用时撤销文件等。

Linux文件系统：ext2(Extended file system), ext3, ext4, xfs（SGI）, btrfs（Oracle）, reiserfs, jfs（AIX）, swap
光盘：iso9660
Windows：FAT32, exFAT,NTFS
Unix: FFS（fast）, UFS（unix）, JFS2
网络文件系统：NFS, CIFS
集群文件系统：GFS2, OCFS2（oracle）
分布式文件系统： fastdfs,ceph, moosefs, mogilefs, glusterfs, Lustre
RAW：未经处理或者未经格式化产生的文件系统

Linux的虚拟文件系统：VFS

由于底层文件系统类型太多，从而导致程序调用复杂，从而有VFS来作为一个统一接口，充当中间人的角色

 

super block 和 inode table 的关系

 

 

 

1、文件系统管理工具

mkfs.{ext4|ext3|xfs|...} 格式化指定设备分区

　　-t  FSTYPE：格式化指定设备分区

　　-L：设定卷标

　　-b：块大小

　　-t：分区类型

　　-m #：预留%

　　-i：为多少个字节创建一个节点号

　　-N：指定节点号

findfs LABEL=<label>|UUID=<uuid>：查找分区

blkid：查看分区属性信息

　　-U UUID

　　-L LABEL

fsck: 文件系统检查，FS_TYPE一定要与分区上已经文件类型相同，修复时分区一定要在非挂载状态

　　fsck.FS_TYPE

　　fsck -t FS_TYPE

　　-p: 自动修复错误

　　-r: 交互式修复错误

　　-y：自动回答为yes

　　-f：强制修复

xfs_info：查看xfs文件系统的信息

2、创建ext文件系统

mke2fs：ext系列文件系统专用管理工具

　　-t{ext2|ext3}

　　-b{1024|2048|4096}

　　-L LABEL

　　-j相当于-t

　　-i为数据空间创建一个inode

　　-N指定分区中的inode号

　　-l一个inode急速占用的裁判空间大小

　　-m

　　-O feature启用特性

blkid：块设备属性信息查看

　　blkid[OPTION]... [DEVICE]

　　-U UUID: 根据指定的UUID来查找对应的设备

　　-L LABEL：根据指定的LABEL来查找对应的设备

e2label：管理ext系列文件系统的LABEL

　　e2label DEVICE [LABEL]

findfs：查找分区

　　findfs[options] LABEL=<label>

　　findfs[options] UUID=<uuid>

tune2fs：重新设定ext系列文件系统可调整参数的值

　　-l：查看指定文件系统超级块信息；super block

　　-L \'LABEL\'：修改卷标

　　-m #：修预留给管理员的空间百分比

　　-j: 将ext2升级为ext3

　　-O: 文件系统属性启用或禁用,–O ^has_journal

　　-o: 调整文件系统的默认挂载选项，–o ^acl

　　-U UUID: 修改UUID号

dumpe2fs：

　　块分组管理，32768块

　　-h：查看超级块信息，不显示分组信息

　　挂载为文件系统标记为“no clean”

　　注意：一定不要在挂载状态下修复

fsck: File System Check

　　fsck.FS_TYPE

　　fsck -t FS_TYPE

　　-p: 自动修复错误

　　-r: 交互式修复错误

FS_TYPE一定要与分区上已经文件类型相同

e2fsck：ext系列文件专用的检测修复工具

　　-y：自动回答为yes

　　-f：强制修复

　一个文件夹只能挂载一个设备（只生效一个）

　一个设备可以挂载多个文件夹

　空文件夹充当挂载点

fedre ubanti

3、设备挂载工具

mount

用法：mount  设备  挂载点

　　LABEL=卷标名 挂载点

　　UUID=‘xxxxxx’ 挂载点

　　-r 只读方式挂载

　　-w 读写挂载，默认

　　-n 不更新/etc/mtab

　　-t 指定文件系统，一般不用，系统可以自动识别

　　-a 自动挂载/etc/fstab中的设备

　　-B | --bind 目录挂载到目录

　　-o：选项

　　　acl：启用acl

　　　noacl：关闭acl

　　　remount：重新挂载

　　　ro：只读

　　　async：异步模式

　　　sync：同步模式

　　　loop：可以挂载文件，loop设备

　　　atime/noatime：包含目录和文件

　　　diratime/nodiratime：目录的访问时间戳

　　　auto/noauto：是否支持自动挂载,是否支持-a选项

　　　exec/noexec：是否支持将文件系统上运行应用程序

　　　dev/nodev：是否支持在此文件系统上使用设备文件

　　　suid/nosuid：是否支持suid和sgid权限

　　　user/nouser：是否允许普通用户挂载此设备，/etc/fstab使用

　　　defaults：相当于rw, suid, dev, exec, auto, nouser, async

umount {设备名|挂载点} 卸载设备

fuser

　　-v /dev/sda1 查看设备谁在用

　　-km /dev/sda1杀掉使用设备的进程

lsof /dev/sda1 查看设备那个进程在用

findmnt 查找某个文件夹是否处于挂载状态

losetup -a 查看当前挂载的loop设备

losetup /dev/loop# loopfile 绑定文件到loop设备

4、内存及swap管理工具

free 查看内存和swap的信息

　　-m 以M为单位显示

　　-g 以G为单位显示

　　-h 以人类可以看懂的方式显示

mkswap /dev/sdb1 -L swap_sdb1 格式化

swapon DEV|LOOPFILE  激活swap分区

　　-s 查看当前的swap信息

　　-a 激活fstab表中配置的swap

swapoff 禁用swap分区

5、其他块设备操作工具

eject 弹出光驱

　　-t 弹入光驱

cp /dev/sr0 /data/centos7.iso 将光盘制作成iso文件

dd if=/dev/sr0 of=/data/centos7.iso 将光盘制作成iso文件

mkisofs -r -o etc.iso /etc/ 将目录打包成iso文件，但不能引导

mkdvdiso.sh source /destination/DVD.iso 制作引导光盘

wodim –v –eject centos.iso 刻录光盘

lsusb 查看UBS

6、df、du和dd

df 显示以挂载的设备信息

　　-h：以人类可以看懂的方式显示

　　-H：以1000为单位显示分区大小

　　-T：显示文件系统

　　-i：显示节点号

　　-P：以标准格式显示

du 显示目录大小

　　-h 以人类可以看懂的方式显示

　　-s 只查看目录

　　--max-depth # 查看子目录深度

dd 转换和复制文件

　　of=file 输出

　　if=file 读入

　　bs=size 每次字节大小

　　ibs=size 每次读入大小

　　obs=size 每次读出大小

　　cbs=size

　　skip=blocks 源跳过

　　seek=blocks 目标跳过

　　count=#

　　conv 用以下指定的参数转换文件

　　　ascii 转换 EBCDIC 为 ASCII

　　　ebcdic 转换 ASCII 为 EBCDIC

　　　lcase 把大写字符转换为小写字符

　　　ucase 把小写字符转换为大写字符

　　　nocreat 不创建输出文件

　　　noerror 出错时不停止

　　　notrunc 不截短输出文件

　　　sync 把每个输入块填充到ibs个字节，不足部分用空(NUL)字符补齐

拷贝内存资料到硬盘

　　dd if=/dev/mem of=/root/mem.bin bs=1024

将内存里的数据拷贝到root目录下的mem.bin文件

从光盘拷贝iso镜像

　　dd if=/dev/cdrom of=/root/cd.iso

拷贝光盘数据到root文件夹下，并保存为cd.iso文件

销毁磁盘数据

　　dd if=/dev/urandom of=/dev/sda1

利用随机的数据填充硬盘，在某些必要的场合可以用来销毁数据，执行此操作以后，/dev/sda1将无法挂载，创建和拷贝操作无法执行

测试硬盘写速度

　　dd if=/dev/zero of=/root/1Gb.file bs=1024 count=1000000

测试硬盘读速度

　　dd if=/root/1Gb.file bs=64k | dd of=/dev/null

修复硬盘

　　dd if=/dev/sda of=/dev/sda

当硬盘较长时间（比如1,2年）放置不使用后，磁盘上会产生消磁点。当磁头读到这些区域时会遇到困难，并可能导致I/O错误。当这种情况影响到硬盘的第一个扇区时，可能导致硬盘报废。上边的命令有可能使这些数据起死回生,且这个过程是安全高效的

 四、raid磁盘列阵

　　独立硬盘冗余阵列（RAID，Redundant Array of Independent Disks），简称磁盘列阵。其基本思想就是把相对多个相对便宜的硬盘组合起来，成为一个硬盘在阵列组，使性能达到甚至超过一个价格昂贵、容量巨大的硬盘。根据选择的版本不同，RAID比单颗硬盘有以下一个或多个方面的好处：增强数据集成度，增强容错功能，增加处理量或容量。另外，磁盘阵列对于电脑来说，看起来就像一个单独的硬盘或逻辑存储单元。分为RAID-0，RAID-1，RAID-1E，RAID-5，RAID-6，RAID-7，RAID-10，RAID-50，RAID-60。

1、标准RAID

RAID 0

　　RAID 0亦称为带区集。它将两个以上的磁盘并联起来，成为一个大容量的磁盘。在存放数据时，分段后分散存储在这些磁盘中，因为读写时都可以并行处理，所以在所有的级别中，RAID 0的速度是最快的。但是RAID 0既没有冗余功能，也不具备容错能力，如果一个磁盘（物理）损坏，所有数据都会丢失，危险程度与JBOD相当。

RAID 1

　　两组以上的N个磁盘相互作镜像，在一些多线程操作系统中能有很好的读取速度，理论上读取速度等于硬盘数量的倍数，与RAID 0相同。另外写入速度有微小的降低。只要一个磁盘正常即可维持运作，可靠性最高。其原理为在主硬盘上存放数据的同时也在镜像硬盘上写一样的数据。当主硬盘（物理）损坏时，镜像硬盘则代替主硬盘的工作。因为有镜像硬盘做数据备份，所以RAID 1的数据安全性在所有的RAID级别上来说是最好的。但无论用多少磁盘做RAID 1，仅算一个磁盘的容量，是所有RAID中磁盘利用率最低的一个级别。

如果用两个不同大小的磁盘建RAID 1，可用空间为较小的那个磁盘，较大的磁盘多出来的空间也可以分区成一个区来使用，不会造成浪费。

RAID 5

　　RAID Level 5是一种储存性能、数据安全和存储成本兼顾的存储解决方案。它使用的是Disk Striping（硬盘分区）技术。RAID 5至少需要三块硬盘，RAID 5不是对存储的数据进行备份，而是把数据和相对应的奇偶校验信息存储到组成RAID5的各个磁盘上，并且奇偶校验信息和相对应的数据分别存储于不同的磁盘上。当RAID5的一个磁盘数据发生损坏后，可以利用剩下的数据和相应的奇偶校验信息去恢复被损坏的数据。RAID 5可以理解为是RAID 0和RAID 1的折衷方案。RAID 5可以为系统提供数据安全保障，但保障程度要比镜像低而磁盘空间利用率要比镜像高。RAID 5具有和RAID 0相近似的数据读取速度，只是因为多了一个奇偶校验信息，写入数据的速度相对单独写入一块硬盘的速度略慢，若使用“回写缓存”可以让性能改善不少。同时由于多个数据对应一个奇偶校验信息，RAID 5的磁盘空间利用率要比RAID 1高，存储成本相对较便宜。

RAID 6

　　与RAID 5相比，RAID 6增加第二个独立的奇偶校验信息块。两个独立的奇偶系统使用不同的算法，数据的可靠性非常高，任意两块磁盘同时失效时不会影响数据完整性。RAID 6需要分配给奇偶校验信息更大的磁盘空间和额外的校验计算，相对于RAID 5有更大的IO操作量和计算量，其“写性能”强烈取决于具体的实现方案，因此RAID6通常不会通过软件方式来实现，而更可能通过硬件/固件方式实现。

同一数组中最多容许两个磁盘损坏。更换新磁盘后，数据将会重新算出并写入新的磁盘中。依照设计理论，RAID 6必须具备四个以上的磁盘才能生效。

RAID 6在硬件磁盘阵列卡的功能中，也是最常见的磁盘阵列档次。

2、混合RAID

JBOD

JBOD（ Just a Bunch Of Disks）在分类上，JBOD并不是RAID的档次。

RAID 10/01

RAID 10是先镜射再分区数据，再将所有硬盘分为两组，视为是RAID 0的最低组合，然后将这两组各自视为RAID 1运作。

RAID 01则是跟RAID 10的程序相反，是先分区再将数据镜射到两组硬盘。它将所有的硬盘分为两组，变成RAID 1的最低组合，而将两组硬盘各自视为RAID 0运作。

当RAID 10有一个硬盘受损，其余硬盘会继续运作。RAID 01只要有一个硬盘受损，同组RAID 0的所有硬盘都会停止运作，只剩下其他组的硬盘运作，可靠性较低。如果以六个硬盘建RAID 01，镜射再用三个建RAID 0，那么坏一个硬盘便会有三个硬盘离线。因此，RAID 10远较RAID 01常用。

3、模式化的工具

mdadm[mode] <raiddevice> [options] <component-devices>

支持的RAID级别：LINEAR, RAID0, RAID1, RAID4, RAID5, RAID6, RAID10

Llinux中分区类型：fd

示例：mdadm -C /dev/md# -a yes -l 5 -c 32 -n 3 -x1 /dev/sd#  利用软件创建一个软raid5

　　-C：创建

　　-a：检查

　　-l：raid级别

　　-c：thunk大小，默认512K

　　-n：硬盘成员

　　-x：备用硬盘

　mdadm -D /dev/md# 查看raid状态

　mdadm -Ds /dev/md# > /etc/mdadm.conf 生成配置文件，下次开机自动生效

　mdadm -S /dev/md# 停用raid设备

　mdadm -A /dev/md# 激活raid设备

　mdadm /dev/md# -f /dev/sd# 模拟硬盘损坏

　mdadm /dev/md# -r /dev/sd# 手动移除硬盘

　mdadm /dev/md# -a /dev/sd# 手动添新硬盘

　　-D：查看，cat /proc/mdstat 也可查看raid信息

　　-Ds：生成配置文件，保存到/etc/mdadm.conf

　　-S：停用

　　-A：激活

　　-f：标记硬盘损坏

　　-r：移除硬盘

　　-a：添加硬盘

　mdadm -G /dev/md# -n4 -a /dev/sd# 扩展raid

　　-G：扩展raid

　mdadm --zero-superblock /dev/sd# 删除已移除硬盘的superblock，避免再次使用的影响

五、逻辑卷管理器LVM

1、LVM

逻辑卷管理器（英语：Logical Volume Manager，缩写为LVM），又译为逻辑卷宗管理器、逻辑扇区管理器、逻辑磁盘管理器，是Linux核心所提供的逻辑卷管理（Logical volume management）功能。它在硬盘的硬盘分区之上，又创建一个逻辑层，以方便系统管理硬盘分区系统。

　　Linux中的分区类型：8e

　　PV(Physical Volume) 物理卷

　　VG(Volume Group) 卷组

　　LV(Logical Volume) 逻辑分区

　　PE(Physical Extent) 物理范围。VG中的最小单元，类似于RAID的chunk大小。 

　　Linux中的设备路径：

　　/dev/mapper/vg0-lv0

　　/dev/vg0/lv0

　　/dev/dm-0

2、lvm管理工具：

pvs：查看pv信息

pvscan：查看pv信息

pvdisplay：查看pv信息

pvcreate：创建pv

vgs：查看vg信息

vgscan：查看vg信息

vgdisplay：查看vg信息

vgcreate -s 16M vgname /dev/sd#  创建vg

　　-s：指定PE大小

lvs：查看lv信息

lvscan：查看lv信息

lvdisplay：查看lv信息

lvcreate -n lvname {-L #G|-l #|} vgname 创建lv

　　-n：指定lv的名字

　　-L #(G|M)：指定lv大小

　　-l #%FREE | -l #(PE)：指定lv大小

vgrename OLDvgname NEWvgname 重命名vg

lvrename /dev/vgname/OLDlvname  /dev/vgname/NEWlvname 重命名lv

3、LVM的快照：

lvcreate -n lvname-snapshot -s -L 1G -p r /dev/vgname/lvname  创建快照

　　-s：快照功能

　　-p r：快照只读属性

lvconvert --merge /dev/vgname/lvname-snapshot  恢复快照

lvremove /dev/lvname-snapshot  删除快照