磁盘管理详解(02)

Posted 2020-10-05

一、文件系统概念

    1.文件系统是操作系统用于明确存储设备或分区上的文件的方法和数据结构；即在存储设备上组织文件的方法。操作系统中负责管理和存储文件信息的软件结构称为文件管理系统，简称文件系统。

    2.从系统角度来看，文件系统是对文件存储设备的空间进行组织和分配，负责文件存储并对存入的文件进行保护和检索的系统。具体地说，它负责为用户建立文件，存入、读出、修改、转储文件，控制文件的存取，安全控制，日志，压缩， 加密等。

二、文件系统类型

    1.常用的Linux文件系统：ext2, ext3, ext4, xfs（SGI）, btrfs（ Oracle）, reiserfs, jfs（AIX）,swap（交换文件系统），iso9660（光盘）；

    2.Windows：fat32, ntfs；

    3.Unix: FFS（fast）, UFS（unix）, JFS2；

    4.网络文件系统：NFS, CIFS；

    5.集群文件系统：GFS2, OCFS2（oracle）；

    6.分布式文件系统：ceph, moosefs, mogilefs, glusterfs, Lustre；

    7.RAW：未经处理或者未经格式化产生的文件系统；

三、文件系统分类

    1.根据其是否支持"journal"功能：

        日志型文件系统: ext3, ext4, xfs, ...

        非日志型文件系统: ext2, vfat ；

    2.文件系统的组成部分：

        内核中的模块：ext4, xfs, vfat；

        用户空间的管理工具：mkfs.ext4, mkfs.xfs,mkfs.vfat

    3.Linux的虚拟文件系统：VFS 

    4.查前支持的文件系统：cat /proc/filesystems

四、创建文件系统

    mkfs命令：

        (1)mkfs.FS_TYPE /dev/DEVICE

                FS_TYPE：ext4、xfs、btrfs、vfat...

        (2)mkfs -t FS_TYPE /dev/DEVICE

                 -L‘LABEL‘: 设定卷标

            eg1:mkfs.ext4 /dev/sdb1；

            eg2:blkid /dev/sdb1；

            eg3:mkfs.ext4 -b 1024 /dev/sdb1；

            eg4:mkfs.ext4 -L /mnt/sdb2 /dev/sdb2（卷标名最好是和挂载的目录名相同）；

            eg5:mkfs.ext4 -L /mnt/sdb3 -b 2048 /dev/sdb3

五、创建ext文件系统

    mke2fs：ext系列文件系统专用管理工具

    OPTION:

        -t:{ext2|ext3|ext4}

        -b:{1024|2048|4096}

        -L:‘LABEL‘

        -j: 相当于 -t ext3

    注：mkfs.ext3 = mkfs -t ext3 = mke2fs -j =mke2fs -t ext3

        -i #: 为数据空间中每多少个字节创建一个inode；此大 小不应该小于block的大小 

        -N #：为数据空间创建个多少个inode

        I:一个inode记录大小128---4096

        -m #: 默认5%,为管理人员预留空间占总空间的百分比

        -O FEATURE[,...]：启用指定特性

        -O ^FEATURE：关闭指定特性

六、blkid命令

    blkid:查看指定块设备的属性信息

    语法：blkid [OPTION] ...[DEVICE]

    OPTION:

        -U：UUID: 根据指定的UUID来查找对应的设备

        -L：LABEL：根据指定的LABEL来查找对应的设备

七：e2label命令

    e2lable：管理ext系列文件系统的卷标

    语法：e2label DEVICE [LABEL]

        eg：e2label /dev/sdb1 /mnt/sdb1

八、findfs命令

    findfs：查找分区

        findfs [options] LABEL=<label>

        findfs [options] UUID=<uuid>

九、tune2fs命令

    1.tune2fs：重新设定ext系列文件系统可调整的参数值

    OPTION:

        -l：查看指定文件系统超级块信息；superblock

        -L：‘LABEL‘：修改卷标

        -m #：修预留给管理员的空间百分比

        -j: 将ext2升级为ext3

        -O: 文件系统属性启用或禁用, 属性前加^,表示关闭此属性，–O^has_journal

        -o: 调整文件系统的默认挂载选项,–o^acl

        -U：UUID: 修改UUID号；

    2.生成UUID的命令：uuidgen

十、dumpe2fs命令

    dumpe2fs:查看块组信息

    dumpe2fs -h = tune2fs -l:查看文件系统超级块信息

十一、文件系统检测和修复

    1.因进程意外中止或系统崩溃等情况导致写入操作非正常中止时，可能会导致文件破坏；此时，应该修复文件系统，注意：离线修复；

    2.挂载的文件系统标记为“dirty”或“no clean”

    3.修复工具：fsck、e2fsck

    4.fsck命令

        格式：

            ①fsck.FS_TYPE

            ②fsck -t FS_TYPE

        OPTION:

            -a:自动修复错误；

            -r:交互式修复错误；

    注意：FS_TYPE一定要与分区上文件类型相同；

    5.e2fsck命令

    e2fsck:ext系列文件专用的检测修复工具

        OPTION:

            -y:对问题自动回答为yes；

            -f:强行修复；

十二、文件系统挂载

    1.挂载：磁盘分区要想被使用必须先挂载，所谓挂载是指将额外的分区与根文件系统上的某目录建立关联关系的过程（默认只有管理员才有权限），进而使得此目录作为其它文件访问入口的行为。如果目录中有文件，则目录中原有文件会被隐藏。使用mount命令挂载；

    2.卸载：解除此关联关系的过程。使用umount命令卸载；

    3.卸载时：可使用设备，也可以使用挂载点；

    4.挂载点：目录一般为空；

    5.mount命令

        （1）挂载方法：mount DEVICE MOUNT_POINT（挂载点）

                DEVICE:所要挂载的磁盘分区：

                    ①设备文件：例如/dev/sda5

                    ②卷标：-L ‘LABEL‘, 例如 -L ‘MYDATA‘

                    ③UUID, -U ‘UUID‘：例如 -U ‘0c50523c-43f145e7-85c0-a126711d406e‘

                    ④伪文件系统名称：proc,sysfs, devtmpfs, configfs

                MOUNT_POINT(挂载点):另一个文件系统访问入口：

                    ①事先存在；建议使用空目录

                    ②进程正在使用中的设备无法被卸载

        （2）查看当前以挂载所有设备信息：

                ①mount；

                ②cat /etc/mtab

                ③cat /proc/mounts（查看内核追踪到的已挂载的所有设备信息）

        （3）mount命令常用挂载选项

                OPTION:

                    -t vsftype：指定要挂载的设备上的文件系统类型

                    -r: readonly，只读挂载；

                    -w: read and write, 读写挂载；

                    -n: 不更新/etc/mtab，相当于#mount；

                    -a：自动挂载所有支持自动挂载的设备(定义在了/etc/fstab 文件中，且挂载选项中有auto功能)

                    -L ‘LABEL‘: 以卷标指定挂载设备；

                    -U ‘UUID‘: 以UUID指定要挂载的设备；

                    -B, --bind: 绑定目录到另一个目录上；

                -o options：(挂载文件系统的选项)，多个选项使用逗号分隔

                    async：异步模式，数据写操作先于内存完成，而后再根据某种策略同步至持久设备中；

                    sync：同步模式,内存更改时，同时写磁盘；

                    atime/noatime：文件和目录被访问时是更新最近一次的访问时间戳；

                    diratime/nodiratime：目录被访问时是更新最近一次的访问时间戳；

                    auto/noauto：是否支持自动挂载,是否支持-a选项；

                    exec/noexec：是否允许执行此设备上的二进制程序文件；

                    dev/nodev：是否支持在此设备上使用设备文件；

                    suid/nosuid：是否支持在此设备上的文件使用suid；

                    remount：重新挂载，通常用于不卸载的情况下重新指定挂载选项；

                    ro：只读；

                    rw：读写；

                    user/nouser：是否允许普通用户挂载此设备，默认管理员才能挂载；

                    acl：启用此文件系统上的acl功能，默认不支持；

                    注意：默认挂载选项相当于rw,suid, dev, exec, auto, nouser, async

十三、文件系统卸载

    卸载：挂载点没有被进程访问时方可以卸载；

    在卸载前最好是要查看下哪些进程正在访问挂载的设备，可使用：fuser -v 挂载点；

    如果有程序正在使用该设备，并且想中止正在此挂载点的进程，则使用：fuser -km 挂载点；

    卸载命令：

        umount DEVICE；

        umount MOUNT_POINT；

十四、设备自动挂载

    自动挂载的设备文的配置文件:/etc/fstab

        1./etc/fstab:每行定义一个要挂载的文件系统,有以下6个字段：

            ①   要挂载的设备或伪文件系统

            ②   挂载点

            ③   文件系统类型

            ④   挂载选项

            ⑤   转储频率（备份频率）

            ⑥   自检次序

    2.要挂载的设备或伪文件系统：

       ①设备文件

       ②LABEL(LABEL=””)

       ③UUID(UUID=””)

       ④伪文件系统名称(proc,sysfs)

       3.挂载选项：defaults

       4.转储频率（备份频率）

              0：不做备份

              1：每天转储

              2：每隔一天转储

       5.自检次序

              0：不自检，额外创建的文件系统都无须自动自检；

              1：首先自检；一般只有rootfs才用1

              2：不同的设备可以使用同一个自检次序

       6.对于/etc/fstab配置文件写错的解决办法：

              ①/etc/fstab文件里写载设备等其它选项时一定要正确填写，否则系统重启后启动不起来，会一直停一个界面，如下图所示：

                

              ②解决办法；界面会有提示让你输入管理员root密码，正确输入密码之后会进入一个终端界面，输入以下命令重新挂载根，mount-o remount,rw /，输入完这条命令后就可以修改./etc/fstab里写错的选项，然后保存重启即可。

                

十五、利用文件，实现文件系统

    步骤：        

         ①dd if=/dev/zero of=/testdir/partfile bs=1M count=500
          ##创建500M文件
          
         ②ll-h /testdir/partfile
         
         ③mkfs.ext4 /testdir/partfile
         ##格式化
         
         ④blkid/testdir/partfile
         ##查看文件系统信息
         
         ⑤mkdir /mnt/partfile
         
         ⑥mount -o loop /testdir/partfile /mnt/partfile
         ##挂载，临时生效
         
         ⑦把它写进/etc/fstab文件里实现自动挂载，挂载选项不能写defaults，而要写loop;默认挂
         载到/dev/lop0设备；
         /testdir/partfile       /mnt/partfile   ext4    loop 0  0
          ##自动挂载，永久生效

十六、手工指定挂载的loop设备

    步骤：    

       ①losetup /dev/loop2 /testdir/partfile
       ##指定挂载设备关联至挂载点
       
       ②mkdir /mnt/partfile2
       ##创建挂载点
       
       ③mount /dev/loop2 /mnt/partfile2
       ##挂载
       
       ④losetup -a
       ##查看挂载生效的loop设备

  

十七、目录挂载目录

    步骤：     

          ①mkdir /mnt/boot
          ②mount -B /boot /mnt/boot
          ③把它写进/etc/fstab配置文件实现自动挂载，注意这里的文件类型和挂载选项要写成none和bind,如下所示：
          /boot      /mnt/boot      none      bind       0     0
          ④mount -a重新加载/etc/fstab文件中的所有挂载选项

十八、挂载交换分区

       1.交换分区是系统RAM的补充；

       2.启用：swapon

       语法：swapon [OPTION]… [DEVICE]

       OPTION:

              -a:激活所有的交换分区；

              -p PRIORITY:指定优先级（用数字表示）

                     在/etc/fstab里指定，Pri=value

              -s:查看所有生效的交换分区（等同于cat /proc/swap）

       3.禁用swapoff

              语法：swapoff [OPTION]… [DEVICE]

       4.示例：        

              （1）分区：
                     fdisk /dev/sdb;大小为2个G的分区，并该分区的ID，ID改为82
                     
              （2）格式化：
                     mkswap -L swap_sdb1 /dev/sdb
                     blkid
                     
              （3）挂载；写进/etc/fstab配置文件实现自动挂载
                     /dev/sdb1 swap swap defaults 0 0
                     Swapon -a
                     Swapon -s
                     
              （4）调整优先级，可以可以用命令临时指定，要想永久生效要写进/etc/fstab配置文件里，
              例如:
                     /dev/sdb1 swap swap pri=100 0 0
                     注：优先级要想生效先关闭设备，然后再开启设备
                     swapoff /dev/sdb1
                     Swapon -a

十九、swap的优先级

       ①用户可以给某个swap指定一个0到32767的优先级；

    ②如果用户没有指定，那么核心会自动给swap指定一个优先级，这个优先级从-1开始，每加入一个新的没有用户指定优先级的swap，会给这个优先级减一；

    ③先添加的swap的缺省优先级比较高，除非用户自己指定一个优先级，而用户指定的优先级(是正数)永远高于核心缺省指定的优先级(是负数)；

    ④优化性能：分布存放，高性能磁盘存放；

二十、文件启用swap

    步骤：         

          ①dd if=/dev/zero of=/testdir/swapfile bs=1M count=1024
          ##创建1G大小的文件
          
          ②mkswap /testdir/swapfile
          ##格式化
          
          ③blkid /testdir/swapfile
          ##查看块设备信息
          
          ④写进/etc/fstab配置文件实现自动挂载
          /testdir/swapfile    swap      swap      defaults  0     0
          
          ⑤swapon -a
          ##激活swap分区
          
          ⑥swapon -s
          ##查看生效swap分区

二十一、删除swap

       Swapoff/dev/sdb1

       删除/etc/fstab相应记录

       删除分区和文件

二十二、移动设备使用

    1.USB使用：         

              mkdir /mnt/usb
              mount /dev/sdf4 /mnt/usb
              Sync（执行三次以上）
              注：USB设备名是随机生成的，可使用df命令查看；

  

    2.光盘使用：             

              eject:弹出光驱
              eject -t:弹入光驱

    3.光盘制作成ISO文件            

              cp /dev/sr0 /testdir/centos.iso
              mkdir /mnt/iso
              mount /testdir/centos.iso /mnt/iso

    4.将目录打包成ISO文件         

              mkisofs -r -o etc.iso /etc
              mkdir /mnt/etc
              mount etc.iso /mnt/etc

二十三、free命令

    free：内存及交换分区空间使用状态；

    语法：free [OPTION]

    OPTION:

        -m:以MB为单位；

        -g：以GB为单位；

        -h：以可读性较高的方式来显示信息；

                     

    其中个选项的含义：

        ①Mem:物理内存的使用情况；

        ②Swap：交换分区使用的情况；

        ③-/+ buffers/cache：表示物理内存在不考虑缓冲和缓存占据空间的使用情况；

        ④buffer：缓冲，用来缓存写；

        ⑤cache：缓存,用来缓存读；

二十四、df命令

    df:文件系统空间占用等信息的查看工具

    语法：df [OPTION]... [FILE]...

    OPTION:

        -H:与-h参数相同，但在计算时，1k=1000,而不是1k=1024；

        -T 文件系统类型；

        -h: human-readable（以可读性较高的方式来显示信息）；

        -i：显示inode使用信息而非默认的磁盘空间使用信息；

        -P: 以Posix兼容的格式输出；

二十五、du命令

    du:查看某目录空间占用情况

    语法：du [OPTION]... DIRECTORY

    OPTION:

        -h:human-readable（以可读性较高的方式来显示信息）；

        -s:整个目录大小；

二十六、dd命令

    dd:：convert and copy a file, 用指定大小的块拷贝一个文件，并在拷贝的同时进行指定的转换

    用法：dd if=/PATH/FROM/SRC of=/PATH/TO/DEST

    OPTION:  

        bs=#：block size, 复制单元大小；
        count=#：复制多少个bs； 
        if=file：从所命名文件读取而不是从标准输入；
        of=file：写到所命名的文件而不是到标准输出；
        bs=size：指定块大小（既是是ibs也是obs)；
        ibs=size：一次读size个byte；
        obs=size：一次写size个byte；
        cbs=size：一次转化size个byte；
        skip=blocks：从开头忽略blocks个ibs大小的块；
        seek=blocks：从开头忽略blocks个obs大小的块；
        count=n：只拷贝n个记录；

 

        conv=conversion[,conversion...]用指定的参数转换文件。 
        转换参数: 
            ascii：转换 EBCDIC 为 ASCII；
            ebcdic：转换 ASCII 为 EBCDIC；
            block：转换为长度为cbs的记录，不足部分用空格填充；
            unblock：替代cbs长度的每一行尾的空格为新行； 
            lcase：把大写字符转换为小写字符； 
            ucase：把小写字符转换为大写字符；
            swab：交换输入的每对字节； 
            noerror：出错时不停止；
            notrunc：不截短输出文件； 
            sync：把每个输入块填充到ibs个字节，不足部分用空(NUL)字符补齐；

    示例：

 

        dd if=/dev/sda of=/dev/sdb 
        ##磁盘拷贝
        
        dd if=/dev/sda of=/tmp/mbr.bak bs=512 count=1 
        ##备份MBR
        
        dd if=/dev/zero of=/dev/sdabs=64 count=1 seek=446 
        ##破坏MBR中的bootloader
        
        有二进制文件 fileA， size>2K。现在想从第64个字节位置 开始读取，需要读取的大小是
        128Byts。又有fileB, 想把上 面读取到的128Bytes写到第32个字节开始的位置，替换 128Bytes
        ，请问如何实现？ 
        dd if=fileA of=fileB bs=1 count=128 skip=63 seek=31 conv=notrunc

  

    备份：
        dd if=/dev/sdx of=/dev/sdy 
        ##将本地的/dev/sdx整盘备份到
        
        /dev/sdy dd if=/dev/sdx of=/path/to/image 
        ##将/dev/sdx全盘数据备份到指定路径的image文件
        
        dd if=/dev/sdx | gzip >/path/to/image.gz
        ##备份/dev/sdx全盘数据，并利用gzip工具进行压缩，保存到指定路径 
        
    恢复：
        dd if=/path/to/image of=/dev/sdx 
        ##将备份文件恢复到指定盘
        
        gzip -dc /path/to/image.gz | dd of=/dev/sdx
        ##将压缩的备份文件恢复到指定盘

 

    拷贝内存资料到硬盘：
        dd if=/dev/mem of=/root/mem.bin bs=1024 
        ##将内存里的数据拷贝到root目录下的mem.bin文件 
        
    从光盘拷贝iso镜像：
        dd if=/dev/cdrom of=/root/cd.iso 
        ##拷贝光盘数据到root文件夹下，并保存为cd.iso文件 
        
    销毁磁盘数据：
        dd if=/dev/urandom of=/dev/sda1 
        ##利用随机的数据填充硬盘，在某些必要的场合可以用来销毁数据。执行此操作以后，
        /dev/sda1将无法挂载，创建和拷贝操作无法执行。其中，/dev/urandom可以写为/dev/zero；

    

    得到最恰当的block size：
        dd if=/dev/zero bs=1024 count=1000000of=/root/1Gb.file
        
        dd if=/dev/zero bs=2048 count=500000of=/root/1Gb.file
        
        dd if=/dev/zero bs=4096 count=250000of=/root/1Gb.file
        
        dd if=/dev/zero bs=8192 count=125000of=/root/1Gb.file
        通过比较dd指令输出中所显示的命令执行时间，即可确定系统最佳的block size大小；

 

   测试硬盘读写速度：
        dd if=/root/1Gb.file bs=64k | dd of=/dev/null 
        dd if=/dev/zero of=/root/1Gb.file bs=1024 count=1000000
        通过上两个命令输出的执行时间，可以计算出测试硬盘的读／写速度；
        
    修复硬盘：
        dd if=/dev/sda of=/dev/sda
    当硬盘较长时间（比如1，2年）放置不使用后，磁盘上会产生消磁点。当磁头读到这些区域时会遇
    到困难，并可 能导致I/O错误。当这种情况影响到硬盘的第一个扇区时 ，可能导致硬盘报废。上边
    的命令有可能使这些数据起死回生。且这个过程是安全，高效的。

 

              

 

                    

                    

             

       

        

                   

        

            

           

本文出自 “亚成-另一个LINUXER” 博客，请务必保留此出处http://yacheng0316.blog.51cto.com/11878883/1962164