正式班D16

Posted 2020-12-20 caojiaxin

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了正式班D16相关的知识，希望对你有一定的参考价值。

2020.10.27星期二　　正式班D16

9.9 字符处理命令
9.10 打包压缩
9.11 文件系统

9.9 字符处理命令

9.9.1 sort排序

用于将文件内容加以排序

-n # 依照数值的大小排序

-r # 以相反的顺序来排序

-k # 以某列进行排序

-t # 指定分隔符，默认是空格

[root@ccc ~]# cat a.py 
b:3
c:2
a:4
4:1
f:5
[root@ccc ~]# sort a.py 
4:1
a:4
b:3
c:2
f:5
[root@ccc ~]# sort -t ":" -n -k2 a.py 
4:1
c:2
b:3
a:4
f:5
[root@ccc ~]# sort -t ":" -n -r -k2 a.py 
f:5
a:4
b:3
c:2
4:1

9.9.2 uniq去重

用于检查及删除文本文件中重复出现的行列，一般与sort命令结合使用

-c # 在每列旁边显示出该行重复出现的次数

-d # 仅显示重复出现的行列

-u # 仅显示出现一次的行列

[root@ccc ~]# cat b.py 
hello
123
hello
123
hahaha
[root@ccc ~]# sort b.py 
123
123
hahaha
hello
hello
[root@ccc ~]# sort b.py |uniq
123
hahaha
hello
[root@ccc ~]# sort b.py | uniq -c
      2 123
      1 hahaha
      2 hello
[root@ccc ~]# sort b.py | uniq -d
123
hello
[root@ccc ~]# sort b.py | uniq -u
hahaha

9.9.3 cut处理规律文本

用来显示行中的指定部分，删除文件中指定字段

-d # 指定字段的分隔符，默认是"TAB"

-f # 显示指定字段的内容

[root@ccc ~]# head -1 /etc/passwd
root:x:0:0:root:/root:/bin/bash
[root@ccc ~]# head -1 /etc/passwd | cut -d ":" -f1
root
[root@ccc ~]# head -1 /etc/passwd | cut -d ":" -f1-3
root:x:0
[root@ccc ~]# head -1 /etc/passwd | cut -d ":" -f1,3
root:0

9.9.4 tr替换

替换或删除命令

-d # 删除字符

[root@ccc ~]# head -1 /etc/passwd | tr "bin" "BIN"
root:x:0:0:root:/root:/BIN/Bash
[root@ccc ~]# head -1 /etc/passwd | tr -d "root"
:x:0:0::/:/bin/bash

9.9.5 wc统计

统计，计算数字

-c # 统计文件的bytes数

-l # 统计文件的行数

-w # 统计文件中单词的个数，默认以空白字符作为分隔符

[root@ccc test]# ll a.py 
-rw-r--r-- 1 root root 4 10月 27 17:14 a.py
[root@ccc test]# cat a.py 
111
[root@ccc test]# wc -c a.py 
4 a.py
[root@ccc test]# wc -l a.py 
1 a.py
[root@ccc test]# wc -w a.py 
1 a.py
[root@ccc test]# grep "hello" a.py | wc -l
0

9.10 打包压缩

9.10.1 基本概念

打包：将多个文件和目录合并为一个特殊文件
压缩：将该特殊文件进行压缩得到一个压缩包
使用压缩包是为了减少占用的体积和加快网络的传输
Windows支持：zip、rar

Linux支持：zip、tar、gz tar、bz2、gz（后缀不重要但一定要带）

9.10.2 tar.gz与tar.biz2

打包

[root@ccc test]# tar cvf bak.tar /etc/passwd  # c:创建,v:详细过程,f:打包后文件路径
tar: 从成员名中删除开头的“/”
/etc/passwd
[root@ccc test]# ll
总用量 16
-rw-r--r-- 1 root root 10240 10月 27 21:36 bak.tar

压缩

# gzip -> gunzip
[root@ccc test]# gzip bak.tar 
[root@ccc test]# ll
总用量 8
-rw-r--r-- 1 root root 520 10月 27 21:36 bak.tar.gz

# bzip2 -> bunzip
[root@ccc test]# bzip2 bak.tar
[root@ccc test]# ll
总用量 12
-rw-r--r-- 1 root root 530 10月 27 21:43 bak.tar.bz2

合二为一

# gzip压缩算法(.gz结尾)
[root@ccc test]# tar cvzf bak.tar.gz /etc/passwd
tar: 从成员名中删除开头的“/”
/etc/passwd
[root@ccc test]# ll
总用量 16
-rw-r--r-- 1 root root   512 10月 27 21:47 bak.tar.gz

# bzip2压缩算法(.bz2结尾)
[root@ccc test]# tar cvjf bak.tar.bz2 /etc/passwd
tar: 从成员名中删除开头的“/”
/etc/passwd
[root@ccc test]# ll
总用量 4
-rw-r--r-- 1 root root   530 10月 27 21:48 bak.tar.bz2

9.10.3 解包

tar xvf 压缩包 -C 解压到的目录

# 针对xxx.tar.gz或者xxx.tar.bz2统一使用
[root@ccc test]# tar xvf bak.tar.gz -C ~/test
etc/passwd
[root@ccc test]# ll
总用量 12
-rw-r--r-- 1 root root 512 10月 27 21:54 bak.tar.gz
drwxr-xr-x 2 root root  20 10月 27 21:55 etc

[root@ccc test]# tar xvf bak.tar.bz2 -C ~/test/
etc/passwd
[root@ccc test]# ll
总用量 12
-rw-r--r-- 1 root root 530 10月 27 21:54 bak.tar.bz2
drwxr-xr-x 2 root root  20 10月 27 21:56 etc

# 针对xxx.zip
[root@ccc test]# unzip bak.zip 
  inflating: etc/passwd              
   creating: etc/yum/
[root@ccc test]# ll
总用量 12
drwxr-xr-x 3 root root  31 10月 27 21:58 etc

9.10.4 zip

zip后的第一个参数是压缩包路径，其余为被压缩的文件

[root@ccc test]# zip bak.zip /etc/passwd /etc/yum
  adding: etc/passwd (deflated 58%)
  adding: etc/yum/ (stored 0%)
[root@ccc test]# ll
总用量 4
-rw-r--r-- 1 root root 704 10月 27 21:52 bak.zip

9.10.5备份

打包压缩常用于备份文件，文件名必须见名知意且带上时间、主机名之类

# 时间命令date
[root@ccc test]# date
2020年 10月 27日 星期二 22:02:15 CST
[root@ccc test]# date +%F
2020-10-27
[root@ccc test]# date +%Y_%m_%d
2020_10_27
[root@ccc test]# date +%T
22:03:10
[root@ccc test]# date +%H_%M_%S
22_03_38
[root@ccc test]# date +%Y_%m_%d_%H_%M_%S
2020_10_27_22_04_14
[root@ccc test]# date -d "-1 day" +%F
2020-10-26
[root@ccc test]# date -d "1 day" +%F
2020-10-28

# 备份
[root@ccc test]# tar cvzf `date +%Y_%m_%d_%H_%M_%S`_bak.tar.gz /etc/passwd
tar: 从成员名中删除开头的“/”
/etc/passwd
[root@ccc test]# ll
总用量 16
-rw-r--r-- 1 root root 512 10月 27 22:07 2020_10_27_22_07_12_bak.tar.gz

9.11 文件系统

9.11.1 简介

文件

操作系统

文件系统（属于操作系统的一部分）---->提供了文件的概念

硬盘

文件是操作系统提供给用户操控硬盘的一种功能

也就是说操作系统中肯定有一段代码专门用来提供文件的功能
文件系统

文件系统是操作系统中的负责控制硬盘的一个软件

Linux常用xfs、ext4和btrfs

Windows常用FAT32、NTFS
文件系统-->文件

9.11.2 文件系统工作原理

两部分组成：

①文件的元信息：例如权限（rwx）、拥有者、群组、时间参数等

②文件的实际内容
文件系统通常会把这两部分分别存放在不同的区块

①文件的元信息放置到inode区块中

②文件的实际内容则放置到data block区块中

③每个inode与block都有自己的编号
文件的超级区块（superblock）会记录整个档案的整体信息

包括inode与block的总量、使用量、剩余量等
硬盘的最小存取单位->扇区(Sector)->512字节->0.5kb

操作系统的最小存取单位->block块->8个扇区->4kb

总结

# superblock
记录此filesystem的整体信息，包括inode/block的总量、使用量、剩余量，及问价系统的格式与相关信息等

# inode
1、记录文件元信息，包括文件对应的一个或多个block块号码
2、一个文件被分配唯一一个inode

# block
1、记录文件实际内容
2、一个文件过大时可能会被分配多个block块，即一个文件可能对应多个block块的号码，这些号码都存放在该文件的inode里

技术图片

举例

[root@ccc test]# ls -di /
64 /
[root@ccc test]# ls -di /etc/
4194369 /etc/
[root@ccc test]# ls -i /etc/passwd
4739260 /etc/passwd

cat /etc/passwd的整体过程
通常称ext文件系统为索引式文件系统(indexed allocation)

9.11.3 扩展

inode信息

inode为索引节点，是Unix操作系统的一种数据结构，本质是结构体

inode负责存文件的元信息，如文件的创建者、创建日期、大小、inode等

根本上inode存放除了文件的名字及真实内容外所有有关文件的信息/元数据(metadata)

? 1、inode编号

? 2、用来识别文件类型及用于stat C函数的模型信息

? 3、链接数，即有多少文件名指向这个inode

? 4、属主的ID（UID）

? 5、属主的组ID（GID）

? 6、文件的字节数

? 7、文件所使用的磁盘块的实际数目

? 8、文件的时间戳（ctime指inode上一次变动的时间，mtime指文件内容上一次变动的时间，atime指文件上依次打开的时间

? 9、指向数据块的指针

可以用stat命令查看某个文件的inode信息

[root@ccc test]# touch cjx.py
[root@ccc test]# stat cjx.py 
  文件："cjx.py"
  大小：0         	块：0          IO 块：4096   普通空文件
设备：803h/2051d	Inode：584529      硬链接：1
权限：(0644/-rw-r--r--)  Uid：(    0/    root)   Gid：(    0/    root)
最近访问：2020-10-27 22:55:07.390351576 +0800
最近更改：2020-10-27 22:55:07.390351576 +0800
最近改动：2020-10-27 22:55:07.390351576 +0800
创建时间：-

atime  # access time访问文件内容的时间。对文件内容进行一次读操作，访问时间就会变。
	   # cat、more等操作都会，但stat、ls不会对atime产生影响
mtime  # modify time修改文件内容的时间。文件内容最后一次修改的时间
	   # ll命令显示的就是mtime
       # vim编辑保存后，mtime就会改变。
       # 如echo aa >> a.sh 或vim a.txt修改内容
ctime  # change time指inode上一次文件属性变动时间。
	   # 文件状态改变，ctime就会改变，例如chmod、chown等

# 使用cat命令查看文件后，文件atime变更
[root@ccc test]# touch cjx.py
[root@ccc test]# stat cjx.py 
  文件："cjx.py"
  大小：0         	块：0          IO 块：4096   普通空文件
设备：803h/2051d	Inode：584529      硬链接：1
权限：(0644/-rw-r--r--)  Uid：(    0/    root)   Gid：(    0/    root)
最近访问：2020-10-27 22:55:07.390351576 +0800
最近更改：2020-10-27 22:55:07.390351576 +0800
最近改动：2020-10-27 22:55:07.390351576 +0800
创建时间：-
[root@ccc test]# cat cjx.py 
[root@ccc test]# stat cjx.py 
  文件："cjx.py"
  大小：0         	块：0          IO 块：4096   普通空文件
设备：803h/2051d	Inode：584529      硬链接：1
权限：(0644/-rw-r--r--)  Uid：(    0/    root)   Gid：(    0/    root)
最近访问：2020-10-27 23:04:49.565459717 +0800
最近更改：2020-10-27 22:55:07.390351576 +0800
最近改动：2020-10-27 22:55:07.390351576 +0800
创建时间：-

# atime不变mtime及ctime改变
[root@ccc test]# touch zzz.py
[root@ccc test]# stat zzz.py 
  文件："zzz.py"
  大小：0         	块：0          IO 块：4096   普通空文件
设备：803h/2051d	Inode：584530      硬链接：1
权限：(0644/-rw-r--r--)  Uid：(    0/    root)   Gid：(    0/    root)
最近访问：2020-10-27 23:07:46.877188087 +0800
最近更改：2020-10-27 23:07:46.877188087 +0800
最近改动：2020-10-27 23:07:46.877188087 +0800
创建时间：-
[root@ccc test]# cat >> zzz.py << EOF
111
EOF
[root@ccc test]# stat zzz.py 
  文件："zzz.py"
  大小：4         	块：8          IO 块：4096   普通文件
设备：803h/2051d	Inode：584530      硬链接：1
权限：(0644/-rw-r--r--)  Uid：(    0/    root)   Gid：(    0/    root)
最近访问：2020-10-27 23:07:46.877188087 +0800
最近更改：2020-10-27 23:08:00.638167014 +0800
最近改动：2020-10-27 23:08:00.638167014 +0800
创建时间：-

# atime、mtime不变，ctime改变
[root@ccc test]# touch mmm.py
[root@ccc test]# stat mmm.py 
  文件："mmm.py"
  大小：0         	块：0          IO 块：4096   普通空文件
设备：803h/2051d	Inode：584531      硬链接：1
权限：(0644/-rw-r--r--)  Uid：(    0/    root)   Gid：(    0/    root)
最近访问：2020-10-27 23:09:11.228058875 +0800
最近更改：2020-10-27 23:09:11.228058875 +0800
最近改动：2020-10-27 23:09:11.228058875 +0800
创建时间：-
[root@ccc test]# ll mmm.py 
-rw-r--r-- 1 root root 0 10月 27 23:09 mmm.py
[root@ccc test]# chmod 000 mmm.py 
[root@ccc test]# stat mmm.py 
  文件："mmm.py"
  大小：0         	块：0          IO 块：4096   普通空文件
设备：803h/2051d	Inode：584531      硬链接：1
权限：(0000/----------)  Uid：(    0/    root)   Gid：(    0/    root)
最近访问：2020-10-27 23:09:11.228058875 +0800
最近更改：2020-10-27 23:09:11.228058875 +0800
最近改动：2020-10-27 23:10:03.715978463 +0800
创建时间：-
[root@ccc test]# ll mmm.py 
---------- 1 root root 0 10月 27 23:09 mmm.py

inode大小(df -i)

inode会消耗硬盘空间，因此硬盘格式化时操作系统会将硬盘分为两个区域

? ①inode区(inode table)：存放inode所包含的信息

? ②block数据区：存放文件数据

查看硬盘分区的inode总数和已使用量用df -i命令

每个文件必须要有一个inode，因此inode用光但硬盘未存满时也无法在硬盘上创建新文件
```
# 查看xfs文件系统每个inode节点大小(centos7)
xfs_info /dev/sda3

# 查看ext文件系统每个inode节点大小(centos6)
sudo dumpe2fs -h /dev/hda | grep "Inode size"
```
inode号码

每个inode都有一个号码，操作系统用inode号码来识别不同的文件

Linux系统不使用文件名，而使用inode号码来识别文件

? ①系统找到这个文件名是对应的inode号码

? ②通过inode号码获取inode信息

? ③根据inode信息找到文件数据所在的block，读出数据

使用ls -i命令可以看到文件名对应的inode号码
```
[root@ccc test]# ls -i cjx.py 
584529 cjx.py
```
目录项

Linux系统中目录(directory)也是一种文件。打开目录实际上就是打开目录文件

目录结构：一系列目录项(dirent)的列表。

目录项两个组成部分：所包含文件的文件名，给文件名对应的inode号码

ls命令：列出目录文件中的所有文件名
```
[root@ccc test]# ls
cjx.py  mmm.py  zzz.py
```
ls -i命令：列出整个目录文件，即文件名和inode号码

要查看文件的详细信息就要根据inode号码访问inode节点，读取信息
```
[root@ccc test]# ls -i
584529 cjx.py  584531 mmm.py  584530 zzz.py
```
FAT文件系统

U盘采用的档案系统一般为FAT格式。

FAT格式的档案系统没有inode，每个block号码都记录在前一个block当中。

档案系统无法一次知道四个block号码，只能将前block读出后才会知道下一个block在哪里，归于分散时，磁盘要多转好几圈才能完整读取档案的内容。

碎片整理：原因是档案写入的block过于离散，读取性能会变差，此时通过碎片整理将同一个档案归属的blocks汇整在一起，读取会比较容易。
inode特殊作用

①文件名包含特殊字符无法正常删除时，直接删除inode节点可以删除文件

②移动文件或重命名文件，只改变文件名，不影响inode号码

③打开一个文件后，系统就以inode号码来识别这个文件，不考虑文件名

? 通常来说，系统无法从inode号码来得知文件名
```
[root@ccc test]# ls -i
584529 cjx.py  584531 mmm.py  584530 zzz.py
[root@ccc test]# ls -i cjx.py 
584529 cjx.py
[root@ccc test]# vim cjx.py 
[root@ccc test]# ls -i cjx.py 
584533 cjx.py
[root@ccc test]# mv cjx.py CJX.py
[root@ccc test]# ls -i CJX.py 
584533 CJX.py
```
Q：每次修改完服务器配置文件后，为什么需要重新加载配置文件？

A：因为每次修改完inode都会变，系统还是读取原来的inode号的配置文件，每次修改完服务器的配置文件都要重启服务，重新读一下配置文件。

9.11.4 软链接、硬链接

硬链接(Hard Link) ---->通过"ln 源文件目标文件" 设置硬链接

①对硬链接文件内容进行修改，会影响到所有文件名

②硬链接文件与源文件具有相同inode的不同文件名。一个文件只能有一个inode号，但多个文件的inode号可以相同

③删除硬链接或源文件之一，不影响另一个文件名的访问，除非都删掉

? 硬链接允许一个文件拥有多个有效路径，用户可以建立硬链接连接到重要文件以防误删

④创建目录自动生成的两个目录项"."和".."

? "."的inode号码是当前目录的inode号码，等同于当前目录的硬链接

? ".."的inode号码是当前目录父目录的inode号码，等同于父目录的硬链接

? 任何一个目录的硬链接总数=2+他的子目录总数(含隐藏目录)

⑤删除所有的硬链接，数据会在被磁盘检查或新数据写入时删除回收

⑥通过rm -rf删除硬链接

⑦目录不可创建硬链接，且硬链接无法跨区
软链接(符号链接Symbolic Link) ---->通过"ln -s 源文件目标文件" 创建软链接

①对软链接的源文件或目标文件内容进行修改，会影响到所有文件名

②软链接文件与源文件具有不同的inode号

③删除软链接文件的源文件，软链接文件将无法使用

④软链接作用：软件升级、企业代码发布、不方便目录移动

⑤删除源文件后，软链接文件无效，也应一起删除以便回收

⑥通过rm -rf删除软链接

⑦可以对目录创建软链接，且软链接可以跨分区

示例

==============================硬链接===================================
[root@ccc ~]# touch aaa.py
[root@ccc ~]# ln aaa.py bbb.py
[root@ccc ~]# ls -i aaa.py 
8493577 aaa.py
[root@ccc ~]# ls -i bbb.py 
8493577 bbb.py
[root@ccc ~]# ll aaa.py 
-rw-r--r-- 2 root root 0 10月 28 22:52 aaa.py
[root@ccc ~]# ll bbb.py 
-rw-r--r-- 2 root root 0 10月 28 22:52 bbb.py
[root@ccc ~]# 
==============================软链接===================================
[root@ccc test]# touch 1.py
[root@ccc test]# ln -s 1.py 2.py
[root@ccc test]# ls -i 1.py 
584530 1.py
[root@ccc test]# ls -i 2.py 
584531 2.py
[root@ccc test]# ll 1.py   # 硬链接数为1
-rw-r--r-- 1 root root 0 10月 28 22:57 1.py
[root@ccc test]# ll 2.py   # 硬链接数为1
lrwxrwxrwx 1 root root 4 10月 28 22:57 2.py -> 1.py
[root@ccc test]# rm -rf 1.py 
[root@ccc test]# ll 2.py   # 删掉1.py，2.py不可用
lrwxrwxrwx 1 root root 4 10月 28 22:57 2.py -> 1.py

[root@ccc test]# mkdir ./dir1
[root@ccc test]# ln ./dir1 ./dir2
ln: "./dir1": 不允许将硬链接指向目录
[root@ccc test]# ln -s ./dir1 ./dir2
[root@ccc test]# ll
总用量 0
drwxr-xr-x 2 root root 6 10月 28 23:00 dir1
lrwxrwxrwx 1 root root 6 10月 28 23:01 dir2 -> ./dir1

9.11.5 实战应用

磁盘有空间但创建不了文件

df -h查看磁盘使用情况(此时磁盘空间足够)

df -i查看磁盘的索引节点(inode)（此时IUsed=100%）

原因：数量众多的小字节缓存文件占用大量的inode，但占用的block不多

解决方案：

①删除目录中部分文件，释放分区一部分inode

②备份好文件，然后删除这些文件来释放inode，然后创建一个新文件夹。

? 在cache2下挂在一个新分区sda4，下次写数据写到新分区cache2目录下

tips：inode分区完后不增加inode数量，改变inode大小
其他场景

大量小文件问题：

可能会使inode耗尽，使得文件无法创建（磁盘利用率低）

方案：将block划分小一点

大文件问题：

一个文件占用多个block，是的文件读写速率慢

方案：将block划分大一点

ext文件系统---->xfs文件系统
面试题：Linux中软链接与硬链接区别

1、从定义: linux系统中，链接有两种，一种被称为软链接，类似于快捷方式，存放指向原文件inode的信息，与原文件inode不同。一种是硬链接，与原文件有相同的inode,可以指向数据block。
2、从创建方式:硬链接命令In 原文件目标文件,软链接命令ln -s 原文件目标文件
3、从创建对象: In命令不能对目录创建硬链接，但是可以对目录创建软链接。因为软链接可以跨越文件系统，硬链接则不能。对目录和为客户创建的文件软链接经常用到。
4、删除软链接文件，对硬链接和原文件无影响。
5、删除文件硬链接，对原文件及软链接文件无影响
6、删除原文件，对硬链接读取数据无影响，软链接则失效。会出现红底白字状。
7、同时删除原文件和硬链接，原文件才会被真正删除
8、很多硬件设备中的快照原理，类似于硬链接原理

以上是关于正式班D16的主要内容，如果未能解决你的问题，请参考以下文章

无法解析符号 c882c94be45fff9d16a1cf845fc16ec5