linux存储管理

Posted 2020-09-17

Linux存储管理

首先简单的来了解一下各磁盘的接口类型

IDE：并口，来源于ATA，133Mbps

SCSI：并口，

SATA：Serial ATA，串口

SAS：串口

USB：串口

并口与串口都有其各自的优势，并不能说哪个好，只是现在串口用得更广泛。

其中有一个参数IOPS用来衡量磁盘的传输速度。

IOPS：每秒IO次数

在学习磁盘管理之前，我们先要了解一下机械硬盘的构造和工作原理。详情请见

在了解了机械硬盘的构造和工作原理后，我们就可以学习磁盘管理相关知识了。

Linux中的磁盘（也可以叫设备）的各种基本概念：

设备文件、设备号、设备类型、设备文件名、设备引用方式

设备文件：/dev

设备文件是关联到硬件设备的驱动程序和设备的访问入口；

设备号：

major：主设备号，区分设备的类型，用于标明设备所需的驱动程序；

minor：次设备号，区分同种类型下的不同设备，是特定设备的访问入口；

mknod命令：

mknod - make block or character special files

mknod [OPTION]... NAME TYPE [MAJOR MINOR]

设备类型：

块设备：用于随机访问的设备，数据存储和交换的单位是块；

字符设备：用于线性访问的设备，数据的交换单位一般是字符；

设备文件名：IANA-->ICANN 

/dev/

IDE：hd[a-d]

SCSI/SATA/SAS/USB：sd[a-z]

RHEL6、CentOS6开始：

所有的接口类型的硬盘设备统一命名为sd[a-z]

设备引用方式：

设备文件名

卷标(Volume Lable)

link

UUID：全局唯一标识符，128bit

先增加新硬盘再使用，在开机状态下增加硬盘时，需要输入以下命令

 ~]# echo ‘- - -‘ > /sys/class/scsi_host/host2/scan

强制内核识别在开机状态下插上的SCSI接口的磁盘

那我们如何使用一个新的硬盘设备呢？答案就是分三步

1.分区

2.创建文件系统(格式化)

3.挂载分区

1.

为何分区？

1.优化I/O性能

2.实现磁盘空间的配额限制

3.进行高速修复

4.隔离系统文件和其他程序文件

5.安装多个操作系统

如何分区？

MBR：硬盘空间小于2TB

注意：

1.主分区+扩展分区，最多可以有4个，其分区表位的编号依次为：1,2,3,4

2.逻辑分区的编号从5开始，不管前面的四个数字编号是否被占用；

GPT：硬盘空间大于2TB

GUID Partition Table，GUID分区表，支持128个分区

UEFI(统一扩展固件接口)的硬件可以支持GPT  Boot Legacy

通常使用的分区工具：

fdisk：

用于创建和管理MBR分区，对于一块硬盘，最多只能管理15个分区；

gdisk：GNU disk

用于创建和管理GPT分区，

   fdisk分区示例：

fdisk - Partition table manipulator for Linux

fdisk -l [device...]

    查看指定磁盘的分区表，如果省略device参数，则显示所有磁盘设备的分区                          表；

fdisk device

对于指定设备进行分区管理；      

      注意：使用fdisk只是在内存当中进行，并没有在硬盘中真正实时操作，分好区之后，如果不使用             子命令‘w’保存的话，刚才的操作无意义。

parted（建议对磁盘管理非常熟悉的人才使用）：GNU

高级分区工具，实时生效；

parted - a partition manipulation program

parted [options] [device [command [options...]...]]

parted /dev/sdb mklabel gpt|msdos

parted /dev/sdb print

parted /dev/sdb mkpart primary 1 200

parted /dev/sdb rm 1

   

   如果使用fdisk或gdisk命令对于已经有分区并挂载的磁盘的剩余空间进行再次分区，分区的信息即便    是保存了，也不会被内核重新读取；如果要让内核识别此类分区：

1.重启计算机；

2.partprobe命令或者partx命令，强制内核重读分区表；

CentOS5/7：partprobe -a [device] 如果省略了设备名，则表示重读所有磁                                   盘的分区表

CentOS6/7：partx -a [device]

kpartx -af [device]

2.

创建文件系统（也可以说是格式化）：

创建文件系统实际上就是给分区进行存储空间的逻辑编址；为了更好地对磁盘进行管理与操作。

格式化：

低级格式化：

物理层面完成格式化，在磁盘设备出厂时，通过低级格式化来创建磁道；

主要作用：划分磁道

高级格式化：

分区之后进行，

主要作用：用来创建文件系统，为分区构建逻辑编址单元，簇，块

无论是簇还是块，都是将一个或多个扇区组织在一起，共同完成数据存储；

簇：512B 1024 2048 4096 8192 16384 32768 65536

块：1024 2048 4096

注意：

1.一个块只能放置一个文件的内容，一个文件可以占用多个块；

2.如果在某个分区中，将创建大量的小文件，把块划分的小一些；                                   反之，块就大些

3.如果分区空间比较大，块也应该大一些；

   随着磁盘空间越来越大，划分的块的数量也越来越多，之前所划分的元数据块与数据块管理起来很不方便，所以出现了划分分组，划分块组就可以解决该问题

   划分分组：

块组：

每个块组中有独立的元数据块和数据块

存放数据的时候，以块组内的数据块优先选择，如果块组内的数据块不够，可以通过                 存储策略来请多个块组协同存储；

超级块：

 主要定义了有多少个块组，以及每个块组的边界。

 注意：为了防止超级块发生故障倒置整个文件系统崩溃，对超级块进行冗余备份。

日志块：

对于数据的写入操作做记录的块；

防止数据不一致；

数据不一致通常都是由不洁关机，不洁断电导致；

所以总结一下一个完整的文件系统到底是怎样的。

一个完整的文件系统：

超级块，inode，inode bitmap，block bitmap，data block，journal block

举个例子了解一下文件系统查找：

想要查找/var/log/messages文件的内容，是怎样的过程？

首先查找/目录inode编号，从元数据区域中找到对应inode，再读取inode中的数据块指针，找到存放/目录内容的数据块；

然后，在数据块中查找名称为var的文件名，如果有，就定位其inode编号，再到元数据区域中查找对应编号的inode，再根据数据块指针找到保存var目录内容的数据块；

再然后，在该数据块中查找名称为log的文件名，如果有，就定位其inode编号，再到元数据区域中查找对应编号的inode，再根据数据块指针找到保存log目录内容的数据块；

之后，在该数据块中查找名称为messages的文件名，如果有，就定位其inode编号，再到元数据区域总查找对应编号的inode，再根据数据块指针找到messages文件对银的数据块，就可以读取数据；

Linux支持的文件系统：

位于内核空间中的文件系统驱动

1.内核一部分

2.内核模块

位于用户空间中的文件系统管理应用程序

管理命令

Linux自己的文件系统：

ext ext2 ext3 ext4(最大分区50TB，可以做根分区，可以做启动分区)

xfs(企业级64位文件系统，最大分区500TB，可以做根和启动分区)

reiserfs(良好的反删除功能)

btrfs(技术预览版)

光盘文件系统：iso9660

网络文件系统：NFS、CIFS

集群文件系统：gfs2、ocfs2

内核级的分布式文件系统：ceph

伪文件系统：proc、sysfs、tmpfs、hugepagefs

windows的文件系统：vfat，ntfs

Unix的文件系统：ufs，FFS，JFS，zfs

交换分区文件系统：swap

用户空间中的分布式文件系统：mogilefs，moosefs，glusterfs

 

对于不同的发行版的Linux，都有其默认的文件系统选择：

RHEL、CentOS

5：ext3

6：ext4

7：xfs

文件系统的管理工具： mkfs、fsck、dumpe2fs、tune2fs、

管理文件系统：

创建文件系统：

mkfs

mkfs.ext2, mkfs.ext3, mkfs.ext4, mkfs.xfs, mkfs.btrfs, ...

文件系统检测和修复工具

fsck

fsck.ext3, fsxk.ext3, fsck.ext4, fsck.xfs, ...

文件系统属性查看工具

dumpe2fs

文件系统的属性调整工具

tune2fs

创建文件系统工具：

mkfs命令：

mkfs - build a Linux filesystem

mkfs [options] [-t type] [fs-options] device [size]

mkfs -t ext2 /dev/sdb1

注意：

1.不要使用磁盘设备名称和扩展分区设备名称作为mkfs命令的参数；

如果使用磁盘设备作为mkfs的参数，所有的分区都将被删除

如果使用扩展分区作为mkfs的参数，所有的逻辑分区都将被删除

2.能够作为mkfs命令参数的设备，是主分区设备和逻辑分区设备；

如果只是计划创建ext系列文件系统的话，可以使用mke2fs命令：

mke2fs:

mke2fs - create an ext2/ext3/ext4 filesystem

常用选项：

-b block-size：在创建文件系统时，调整块大小；

-i bytes-per-inode：指明inode与字节的比率，即：多少个字节可                                                     以建一个inode，默认值为16384；

-j：创建有日志功能的文件系统，就是ext3

-N number-of-inodes：直接指明要给此文件系统创建的inode的数                                                      量；

  -m reserved-blocks-percentage：指定为超级用户root预留的磁盘                                                                空间的百分比；默认是5；

-t fstype：指定文件系统类型，ext2 ext3 ext4，默认是ext2

-O [^]feature[,...]：关闭或开启文件系统的特性

-L volume-label：为文件系统指定卷标

如果只计划修改ext系列文件系统的卷标，可以使用e2label命令：

e2label:

e2label - Change the label on an ext2/ext3/ext4 filesystem

e2label device [ new-label ]

注意：如果不加卷标信息，表示查看指定设备的卷标；

      如果添加了卷标信息， 表示修改指定设备的卷标；

如果想要修改ext系列文件系统的属性，可以使用tune2fs命令：

     tune2fs:

             tune2fs  - adjust tunable filesystem parameters on ext2/ext3/ext4 filesystems

调整那些在ext2,3,4文件系统上的可修改的参数；

常用选项：

-j：将ext2文件系统修改为ext3；

-m reserved-blocks-percentage：修改为超级用户预留的磁盘空间                                                                 的百分比；

-o [^]mount-options[,...]：修改文件系统的默认挂载选项；

-r reserved-blocks-count：修改为超级用户预留的磁盘空间的块                                                          的数量；

-L volume-name：修改文件系统的卷标

-O [^]feature[,...]：修改文件系统的特性，将其关闭或启用；

-l：显示超级块的内容  相当于dumpe2fs -h 

文件系统的检测修改工具：

fsck

-t fstype：指定要检测的文件系统类型；

-a：无需交互，自动修复所有问题

-r：交互式修复问题

ext系列文件系统专门的检测修复工具：

e2fsck

-y：在交互过程的所有的问题，都以"yes"回答；

-f：强制检测修复；即使文件系统处于clean状态；

blkid：

blkid - command-line utility to locate/print block device attributes

blkid -L label：根据卷标进行查找

blkid -U uuid：根据UUID进行查找

findfs：

findfs - Find a filesystem by label or UUID

findfs LABEL=label

findfs UUID=uuid

创建swap文件系统

前提：分区类型必须是swap类型

修改的方法是：在fdisk交互模式中，使用t命令将指定分区的类型修改为82即可；

mkswap

mkswap - set up a Linux swap area

-L LABEL：设置交互分区的卷标

-f：强制执行

挂载：

根文件系统之外的其他文件系统如果想要被访问；都必须通过某种方式关联到根文件系统上，具体做法就是把其他文件系统装载到根文件系统中的某个目录之中；这个过程称为"挂载"；用于关联其他文件系统的那个目录，称为挂载点；

挂载点：mount point，也是其他文件系统的访问入口；例如：/boot

要求：

1.作为挂载点的目录必须事先存在；

2.作为挂载点的目录应该是没有被使用或不能被其他进程使用的目录；

3.作为挂载点的目录一旦挂载文件系统，其内原有的文件将被隐藏；

完成挂载操作，使用mount命令：

mount 

mount - mount a filesystem

mount [-fnrsvw] [-t vfstype] [-o options] device dir

常用选项：

-r：readonly，以只读的方式挂载目标文件系统；光盘

-w：read and write，以读写的方式挂载目标文件系统；

-n：默认情况下，设备挂载或卸载的操作会同步更新到/etc/mtab                                       中，如果在挂载时使用了-n选项，则表示我们要禁用此特性，                                     即便挂载成功，也不会更新到/etc/mtab中。

-t vsftype：指明要挂载的设备上创建的文件系统类型；如果省略                                             该选项，mount命令会通过blkid来判断要挂载的目标                                             设备的文件系统类型；

-L LABEL：挂载文件系统时，使用卷标代替设备名称

-U UUID：挂载文件系统时，使用UUID代替设备名称

-a：mount -a：按照/etc/fstab文件中填写的设备进行自动挂载；

-o option：

sync/nosync：同步/异步操作

atime/noatime：文件或目录被读取访问时，是否更新访问                                                         时间戳；

diratime/nodiratime：目录被读取访问时，是否更新访问                                                              时间戳；

ro/rw：是以只读/读写的方式挂载文件系统；

dev/nodev：在此文件系统中是否允许创建设备文件；

exec/noexec：在此文件系统中是否允许运行程序文件；

auto/noauto：是否允许使用mount -a方式挂载/etc/fstab                                                      中的文件系统；

user/nouser：是否允许普通用户挂载此文件系统；

suid/nosuid：是否允许程序文件上的SUID和SGID特殊权限                                                      生效；

relatime/norelatime：是否参考inode访问时间来修改其                                                               修改时间和改变时间

remount：不经卸载实现重新挂载，可以应用新的挂载选                                                    项；

acl：可以使文件系统支持facl功能；

defaults：默认选项；包括：rw, suid, dev, exec,                                                      auto, nouser, async, and relatime

loop：使用环回设备；将镜像文件挂载到挂载点；

defaults,ro,nosuid

-B, --bind：将某个目录绑定至另一个目录；

mount --bind|-B 源目录 目标目录

卸载文件系统：

umount mount_point|device

挂载光盘：

1.保证光盘镜像文件放入虚拟机光驱

2.保证光驱处于"已连接"状态

3.创建光盘挂载点，mount -r /dev/sr0 mount_point

挂载U盘：

需要事先让系统识别U盘设备，然后根据设备名进行挂载；/dev/sdc1

挂载交互分区：

swapon, swapoff

swapon, swapoff - enable/disable devices and files for paging and swapping

-a：自动挂载存储于/etc/fstab文件中的交互分区设备；

如果想要每次开机都实现挂载的话，就必须把挂载信息写入/etc/fstab文件中。

/etc/fstab文件的格式：

共6个字段，使用空白字符分隔：

1.要挂载的设备

设备文件名

LABEL

UUID

伪文件系统

2.挂载点

swap设备无需挂载点，指定swap即可；

3.文件系统类型

4.挂载选项：defaults

5.转储频率：

使用dump命令备份分区的频率

0：表示不备份

1：每天备份一次

2：每隔一天备份一次

6.自检次序

0：不自检

1：优先自检，通常只设置在根文件系统上；

2：次级自检

...

9：最低优先级自检

例如： echo "/dev/sda6 /mnt ext4 defaults 2 1" >> /etc/fstab

在分区、创建文件系统、挂载、修改/etc/fstab都弄好之后，我们可以用df、free命令查看相关的磁盘信息。

df：

  df [选项]... [文件]...

常用选项：-h -T -P 

free：

free [options]

常用选项：-k -m -g