Linux笔记：3-正规表示法与文件格式化处理

Posted 2023-05-29 、妤

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了Linux笔记：3-正规表示法与文件格式化处理相关的知识，希望对你有一定的参考价值。

正规表示法与文件格式化处理

正规表示法就是用在字符串的处理上面的一项『表示式』。正规表示法并不是一个工具程序，而是一个字符串处理的标准依据，如果您想要以正规表示法的方式处理字符串，就得要使用支持正规表示法的工具程序才行，这类的工具程序很多，例如 vi, sed, awk 等等。

但例如 cp, ls 等指令并未支持正规表示法，所以就只能使用 bash 自己本身的通配符而已。

正规表示法的字符串表示方式依照不同的严谨度而分为： 基础正规表示法与延伸正规表示法。
延伸型正规表示法除了简单的一组字符串处理之外，还可以作群组的字符串处理 。

注意：
『正规表示法与通配符是完全不一样的东西！』这很重要。

因为『通配符 (wildcard) 代表的是 bash 操作接口的一个功能』，但正规表示法则是一种字符串处理的表示方式。注意两者的区别。

基础正规表示法

正规表示法是处理字符串的一种表示方式，那么对字符排序有影响的语系数据就会对正规表示法的结果有影响。
此外，正规表示法也需要支持工具程序来辅助才行

以grep为例，介绍基础正规表示法

语系对正规表示法的影响

由于不同语系的编码数据并不相同，所以就会造成数据撷取结果的差异了。
比如zh_TW.big5 及 C 这两种语系的输出结果分别如下：

LANG=C 时：0 1 2 3 4 ... A B C D ... Z a b c d ...z

LANG=zh_TW 时：0 1 2 3 4 ... a A b B c C d D ... z Z

使用正规表示法时，需要特别留意当时环境的语系为何， 否则可能会发现与别人不相同的撷取结果。

兼容于 POSIX 的标准的特殊符号：

特殊符号	代表意义
[:alnum:]	代表英文大小写字符及数字，亦即 0-9, A-Z, a-z
[:alpha:]	代表任何英文大小写字符，亦即 A-Z, a-z
[:cntrl:]	代表键盘上面的控制按键，亦即包括 CR, LF, Tab, Del.. 等等
[:digit:]	代表数字而已，亦即 0-9
[:graph:]	除了空格符 (空格键与 [Tab] 按键) 外的其他所有按键
[:lower:]	代表小写字符，亦即 a-z
[:print:]	代表任何可以被打印出来的字符
[:punct:]	代表标点符号 (punctuation symbol)，亦即：" \' ? ! ; : # $...
[:upper:]	代表大写字符，亦即 A-Z
[:space:]	任何会产生空白的字符，包括空格键, [Tab], CR 等等
[:xdigit:]	代表 16 进位的数字类型，因此包括： 0-9, A-F, a-f 的数字与字符

grep 的一些进阶选项

[dmtsai@study ~]$ grep [-A] [-B] [--color=auto] \'搜寻字符串\' filename
选项与参数：
-A ：后面可加数字，为 after 的意思，除了列出该行外，后续的 n 行也列出来；
-B ：后面可加数字，为 befer 的意思，除了列出该行外，前面的 n 行也列出来；
--color=auto 可将正确的那个撷取数据列出颜色

范例一：用 dmesg 列出核心讯息，再以 grep 找出内含 qxl 那行
[dmtsai@study ~]$ dmesg | grep \'qxl\'
[ 0.522749] [drm] qxl: 16M of VRAM memory size
[ 0.522750] [drm] qxl: 63M of IO pages memory ready (VRAM domain)
[ 0.522750] [drm] qxl: 32M of Surface memory size
[ 0.650714] fbcon: qxldrmfb (fb0) is primary device
[ 0.668487] qxl 0000:00:02.0: fb0: qxldrmfb frame buffer device
# dmesg 可列出核心产生的讯息！包括硬件侦测的流程也会显示出来。
# 鸟哥使用的显卡是 QXL 这个虚拟卡，透过 grep 来 qxl 的相关信息，可发现如上信息。

范例二：承上题，要将捉到的关键词显色，且加上行号来表示：
[dmtsai@study ~]$ dmesg | grep -n --color=auto \'qxl\'
515:[ 0.522749] [drm] qxl: 16M of VRAM memory size
516:[ 0.522750] [drm] qxl: 63M of IO pages memory ready (VRAM domain)
517:[ 0.522750] [drm] qxl: 32M of Surface memory size
529:[ 0.650714] fbcon: qxldrmfb (fb0) is primary device
539:[ 0.668487] qxl 0000:00:02.0: fb0: qxldrmfb frame buffer device
# 除了 qxl 会有特殊颜色来表示之外，最前面还有行号喔！其实颜色显示已经是默认在 alias 当中了！

范例三：承上题，在关键词所在行的前两行与后三行也一起捉出来显示
[dmtsai@study ~]$ dmesg | grep -n -A3 -B2 --color=auto \'qxl\'
# 你会发现关键词之前与之后的数行也被显示出来！这样可以让你将关键词前后数据捉出来进行分析啦！

grep 是一个很常见也很常用的指令，他最重要的功能就是进行字符串数据的比对，然后将符合用户需求的字符串打印出来。
需要说明的是『grep 在数据中查寻一个字符串时，是以 "整行" 为单位来进行数据的撷取的！』也就是说，假如一个文件内有 10 行，其中有两行具有你所搜寻的字符串，则将那两行显示在屏幕上，其他的就丢弃了。

基础正规表示法字符汇整 (characters)

正规表示法特殊字符汇整如下：

RE 字符	意义与范例
^word	意义：待搜寻的字符串(word)在行首！范例：搜寻行首为 # 开始的那一行，并列出行号 grep -n \'^#\' regular_express.txt
word$	意义：待搜寻的字符串(word)在行尾！范例：将行尾为 ! 的那一行打印出来，并列出行号 grep -n \'!$\' regular_express.txt
.	意义：代表『一定有一个任意字符』的字符！范例：搜寻的字符串可以是 (eve) (eae) (eee) (e e)，但不能仅有 (ee) ！亦即 e 与 e 中间『一定』仅有一个字符，而空格符也是字符！ grep -n \'e.e\' regular_express.txt
\\	意义：跳脱字符，将特殊符号的特殊意义去除！范例：搜寻含有单引号 \' 的那一行！ grep -n \' regular_express.txt
*	意义：重复零个到无穷多个的前一个 RE 字符范例：找出含有 (es) (ess) (esss) 等等的字符串，注意，因为 * 可以是 0 个，所以 es 也是符合带搜寻字符串。另外，因为 * 为重复『前一个 RE 字符』的符号，因此，在 * 之前必须要紧接着一个 RE 字符喔！例如任意字符则为『.』！ grep -n \'ess\' regular_express.txt
[list]	意义：字符集合的 RE 字符，里面列出想要撷取的字符！范例：搜寻含有 (gl) 或 (gd) 的那一行，需要特别留意的是，在 [] 当中『谨代表一个待搜寻的字符』，例如『 a[afl]y 』代表搜寻的字符串可以是 aay, afy, aly 即 [afl] 代表 a 或 f 或 l 的意思！ grep -n \'g[ld]\' regular_express.txt
[n1-n2]	意义：字符集合的 RE 字符，里面列出想要撷取的字符范围！范例：搜寻含有任意数字的那一行！需特别留意，在字符集合 [] 中的减号 - 是有特殊意义的，他代表两个字符之间的所有连续字符！但这个连续与否与 ASCII 编码有关，因此，你的编码需要设定正确(在 bash 当中，需要确定 LANG 与 LANGUAGE 的变量是否正确！) 例如所有大写字符则为 [A-Z] grep -n \'[A-Z]\' regular_express.txt
[^list]	意义：字符集合的 RE 字符，里面列出不要的字符串或范围！范例：搜寻的字符串可以是 (oog) (ood) 但不能是 (oot) ，那个 ^ 在 [] 内时，代表的意义是『反向选择』的意思。例如，我不要大写字符，则为 [^A-Z]。但是，需要特别注意的是，如果以 grep -n [^A-Z] regular_express.txt 来搜寻，却发现该文件内的所有行都被列出，为什么？因为这个 [^A-Z] 是『非大写字符』的意思，因为每一行均有非大写字符，例如第一行的 "Open Source" 就有 p,e,n,o.... 等等的小写字 grep -n \'oo[^t]\' regular_express.txt
	意义：连续 n 到 m 个的『前一个 RE 字符』意义：若为 n 则是连续 n 个的前一个 RE 字符，意义：若是 n, 则是连续 n 个以上的前一个 RE 字符！范例：在 g 与 g 之间有 2 个到 3 个的 o 存在的字符串，亦即 (goog)(gooog) grep -n \'go2,3g\' regular_express.txt

再次强调：『正规表示法的特殊字符』与一般在指令列输入指令的『通配符』并不相同，例如，在通配符当中的 * 代表的是『 0 ~ 无限多个字符』的意思，但是在正规表示法当中， * 则是『重复 0到无穷多个的前一个 RE 字符』的意思～使用的意义并不相同，不要搞混。

sed 工具

sed 本身也是一个管线命令，可以分析 standard input 的啦！而且 sed还可以将数据进行取代、删除、新增、撷取特定行等等的功能

[dmtsai@study ~]$ sed [-nefr] [动作]
选项与参数：
-n ：使用安静(silent)模式。在一般 sed 的用法中，所有来自 STDIN 的数据一般都会被列出到屏幕上。
	但如果加上 -n 参数后，则只有经过 sed 特殊处理的那一行(或者动作)才会被列出来。
-e ：直接在指令列模式上进行 sed 的动作编辑；
-f ：直接将 sed 的动作写在一个文件内， -f filename 则可以执行 filename 内的 sed 动作；
-r ：sed 的动作支持的是延伸型正规表示法的语法。(预设是基础正规表示法语法)
-i ：直接修改读取的文件内容，而不是由屏幕输出。

动作说明： [n1[,n2]]function
n1, n2 ：不见得会存在，一般代表『选择进行动作的行数』，举例来说，如果我的动作是需要在 10 到 20 行之间进行的，则『 10,20[动作行为] 』

function 有底下这些咚咚：
a ：新增， a 的后面可以接字符串，而这些字符串会在新的一行出现(目前的下一行)～
c ：取代， c 的后面可以接字符串，这些字符串可以取代 n1,n2 之间的行！
d ：删除，因为是删除啊，所以 d 后面通常不接任何咚咚；
i ：插入， i 的后面可以接字符串，而这些字符串会在新的一行出现(目前的上一行)；
p ：打印，亦即将某个选择的数据印出。通常 p 会与参数 sed -n 一起运作～
s ：取代，可以直接进行取代的工作哩！通常这个 s 的动作可以搭配正规表示法！
	例如 1,20s/old/new/g 就是啦！

案例：

以行为单位的新增/删除功能

范例一：将 /etc/passwd 的内容列出并且打印行号，同时，请将第 2~5 行删除！
[dmtsai@study ~]$ nl /etc/passwd | sed \'2,5d\'
1 root:x:0:0:root:/root:/bin/bash
6 sync:x:5:0:sync:/sbin:/bin/sync
7 shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
.....(后面省略)

范例二：承上题，在第二行后(亦即是加在第三行)加上『drink tea?』字样！
[dmtsai@study ~]$ nl /etc/passwd | sed \'2a drink tea\'
1 root:x:0:0:root:/root:/bin/bash
2 bin:x:1:1:bin:/bin:/sbin/nologin
drink tea
3 daemon:x:2:2:daemon:/sbin:/sbin/nologin
.....(后面省略)

范例三：在第二行后面加入两行字，例如『Drink tea or .....』与『drink beer?』
[dmtsai@study ~]$ nl /etc/passwd | sed \'2a Drink tea or ......\\
> drink beer ?\'
1 root:x:0:0:root:/root:/bin/bash
2 bin:x:1:1:bin:/bin:/sbin/nologin
Drink tea or ......
drink beer ?
3 daemon:x:2:2:daemon:/sbin:/sbin/nologin
.....(后面省略)
# 这个范例的重点是『我们可以新增不只一行喔！可以新增好几行』但是每一行之间都必须要以反斜杠『 \\ 』来进行新行的增加在,多行新增的情况下， \\ 是一定要的

以行为单位的取代与显示功能

范例四：我想将第 2-5 行的内容取代成为『No 2-5 number』呢？
[dmtsai@study ~]$ nl /etc/passwd | sed \'2,5c No 2-5 number\'
1 root:x:0:0:root:/root:/bin/bash
No 2-5 number
6 sync:x:5:0:sync:/sbin:/bin/sync
.....(后面省略)

范例五：仅列出 /etc/passwd 文件内的第 5-7 行
[dmtsai@study ~]$ nl /etc/passwd | sed -n \'5,7p\'
5 lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
6 sync:x:5:0:sync:/sbin:/bin/sync
7 shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown

部分数据的搜寻并取代的功能

除了整行的处理模式之外， sed 还可以用行为单位进行部分数据的搜寻并取代的功能喔！基本上sed 的搜寻与取代的与 vi 相当的类似！他有点像这样：

sed \'s/要被取代的字符串/新的字符串/g\'

步骤一：先观察原始讯息，利用 /sbin/ifconfig 查询 IP 为何？
[dmtsai@study ~]$ /sbin/ifconfig eth0
eth0: flags=4163<UP,BROADCAST,RUNNING,MULTICAST> mtu 1500
        inet 192.168.1.100 netmask 255.255.255.0 broadcast 192.168.1.255
        inet6 fe80::5054:ff:fedf:e174 prefixlen 64 scopeid 0x20<link>
        ether 52:54:00:df:e1:74 txqueuelen 1000 (Ethernet)
.....(以下省略).....
# 因为我们还没有讲到 IP ，这里你先有个概念即可啊！我们的重点在第二行，
# 也就是 192.168.1.100 那一行而已！先利用关键词捉出那一行！

步骤二：利用关键词配合 grep 撷取出关键的一行数据
[dmtsai@study ~]$ /sbin/ifconfig eth0 | grep \'inet \'
inet 192.168.1.100 netmask 255.255.255.0 broadcast 192.168.1.255
# 当场仅剩下一行！要注意， CentOS 7 与 CentOS 6 以前的 ifconfig 指令输出结果不太相同，
# 鸟哥这个范例主要是针对 CentOS 7 以后的喔！接下来，我们要将开始到 addr: 通通删除，
# 就是像底下这样：
# inet 192.168.1.100 netmask 255.255.255.0 broadcast 192.168.1.255
# 上面的删除关键在于『 ^.*inet 』啦！正规表示法出现！ ^_^

步骤三：将 IP 前面的部分予以删除
[dmtsai@study ~]$ /sbin/ifconfig eth0 | grep \'inet \' | sed \'s/^.*inet //g\'
192.168.1.100 netmask 255.255.255.0 broadcast 192.168.1.255
# 仔细与上个步骤比较一下，前面的部分不见了！接下来则是删除后续的部分，亦即：
192.168.1.100 netmask 255.255.255.0 broadcast 192.168.1.255
# 此时所需的正规表示法为：『 \' *netmask.*$ 』就是啦！
步骤四：将 IP 后面的部分予以删除
[dmtsai@study ~]$ /sbin/ifconfig eth0 | grep \'inet \' | sed \'s/^.*inet //g\' \\
> | sed \'s/ *netmask.*$//g\'
192.168.1.100

# sed 与正规表示法的配合练习
# 假设我只要 MAN 存在的那几行数据， 但是含有 # 在内的批注我不想要，而且空白行我也不要

步骤一：先使用 grep 将关键词 MAN 所在行取出来
[dmtsai@study ~]$ cat /etc/man_db.conf | grep \'MAN\'
# MANDATORY_MANPATH manpath_element
# MANPATH_MAP path_element manpath_element
# MANDB_MAP global_manpath [relative_catpath]
# every automatically generated MANPATH includes these fields
....(后面省略)....

步骤二：删除掉批注之后的数据！
[dmtsai@study ~]$ cat /etc/man_db.conf | grep \'MAN\'| sed \'s/#.*$//g\'
MANDATORY_MANPATH /usr/man
....(后面省略)....
# 从上面可以看出来，原本批注的数据都变成空白行啦！所以，接下来要删除掉空白行

[dmtsai@study ~]$ cat /etc/man_db.conf | grep \'MAN\'| sed \'s/#.*$//g\' | sed \'/^$/d\'
MANDATORY_MANPATH /usr/man
MANDATORY_MANPATH /usr/share/man
MANDATORY_MANPATH /usr/local/share/man
....(后面省略)....

直接修改文件内容(危险动作)

sed 甚至可以直接修改文件的内容，而不必使用管线命令或数据流重导向。

范例六：利用 sed 将 regular_express.txt 内每一行结尾若为 . 则换成 !
[dmtsai@study ~]$ sed -i \'s/\\.$/\\!/g\' regular_express.txt
# 上头的 -i 选项可以让你的 sed 直接去修改后面接的文件内容而不是由屏幕输出喔！
# 这个范例是用在取代！请您自行 cat 该文件去查阅结果啰！
范例七：利用 sed 直接在 regular_express.txt 最后一行加入『# This is a test』
[dmtsai@study ~]$ sed -i \'$a # This is a test\' regular_express.txt
# 由于 $ 代表的是最后一行，而 a 的动作是新增，因此该文件最后新增啰！

延伸正规表示法

事实上，一般只要了解基础型的正规表示法大概就已经相当足够了，不过，某些时刻为了要简化整个指令操作，了解一下使用范围更广的延伸型正规表示法的表示式会更方便。

grep 预设仅支持基础正规表示法，如果要使用延伸型正规表示法，你可以使用 grep -E ，不过更建议直接使用 egrep

延伸正规表示法的特殊符号：

RE 字符	意义与范例
+	意义：重复『一个或一个以上』的前一个 RE 字符范例：搜寻 (god) (good) (goood)... 等等的字符串。那个 o+ 代表『一个以上的 o 』所以，底下的执行成果会将第 1, 9, 13 行列出来。 egrep -n \'go+d\' regular_express.txt
?	意义：『零个或一个』的前一个 RE 字符范例：搜寻 (gd) (god) 这两个字符串。那个 o? 代表『空的或 1 个 o 』所以，上面的执行成果会将第 13, 14 行列出来。有没有发现到，这两个案例( \'go+d\' 与 \'go?d\' )的结果集合与 \'go*d\' 相同？想想看，这是为什么喔！ ^_ egrep -n \'go?d\' regular_express.txt
\|	意义：用或( or )的方式找出数个字符串范例：搜寻 gd 或 good 这两个字符串，注意，是『或』！所以，第 1,9,14 这三行都可以被打印出来喔！那如果还想要找出 dog 呢？ egrep -n \'gd\|good\' regular_express.txt egrep -n \'gd\|good\|dog\' regular_express.txt
()	意义：找出『群组』字符串范例：搜寻 (glad) 或 (good) 这两个字符串，因为 g 与 d 是重复的，所以，我就可以将 la 与 oo 列于 ( ) 当中，并以 \| 来分隔开来，就可以啦！ egrep -n \'g(la\|oo)d\' regular_express.txt
()+	意义：多个重复群组的判别范例：将『AxyzxyzxyzxyzC』用 echo 叫出，然后再使用如下的方法搜寻一下！ echo \'AxyzxyzxyzxyzC\' \| egrep \'A(xyz)+C\' 上面的例子意思是说，我要找开头是 A 结尾是 C ，中间有一个以上的 "xyz" 字符串的意思～

文件的格式化与相关处理

格式化打印： printf

[dmtsai@study ~]$ printf \'打印格式\' 实际内容
选项与参数：
关于格式方面的几个特殊样式：
        \\a 	 警告声音输出
        \\b 	 退格键(backspace)
        \\f 	 清除屏幕 (form feed)
        \\n 	 输出新的一行
        \\r   亦即 Enter 按键
        \\t   水平的 [tab] 按键
        \\v 	 垂直的 [tab] 按键
        \\xNN NN 为两位数的数字，可以转换数字成为字符。
关于 C 程序语言内，常见的变数格式
        %ns   那个 n 是数字， s 代表 string ，亦即多少个字符；
        %ni   那个 n 是数字， i 代表 integer ，亦即多少整数字数；
        %N.nf 那个 n 与 N 都是数字， f 代表 floating (浮点)，如果有小数字数，
              假设我共要十个位数，但小数点有两位，即为 %10.2f 啰！

格式化以下文件（printf.txt）：

Name   Chinese 	English 	Math 	Average
DmTsai 80 		60 			92 		77.33
VBird  75 		55 			80 		70.00
Ken    60 		90 			70 		73.33

范例一：将刚刚上头数据的文件 (printf.txt) 内容仅列出姓名与成绩：(用 [tab] 分隔)
[dmtsai@study ~]$ printf \'%s\\t %s\\t %s\\t %s\\t %s\\t \\n\' $(cat printf.txt)
Name 	Chinese 		English 	Math Average
DmTsai 	80 		60 		92 		77.33
VBird 	75 		55 		80 		70.00
Ken 	60 		90 		70 		73.33

由于 printf 并不是管线命令，因此我们得要透过类似上面的功能，将文件内容先提出来给 printf 作为后续的资料才行。如上所示，我们将每个数据都以 [tab] 作为分隔，但是由于 Chinese 长度太长，导致 English 中间多了一个 [tab] 来将资料排列整齐；结果就看到资料对齐结果的差异了

在 printf 后续的那一段格式中，%s 代表一个不固定长度的字符串，而字符串与字符串中间就以 \\t 这个 [tab] 分隔符来处理。

每个字段的长度不固定会造成上述的困扰，那我将每个字段固定就好；
所以我们就将数据给他进行固定字段长度的设计。

范例二：将上述资料关于第二行以后，分别以字符串、整数、小数点来显示：
[dmtsai@study ~]$ printf \'%10s %5i %5i %5i %8.2f \\n\' $(cat printf.txt | grep -v Name)
DmTsai 	80 	60 	92 	77.33
 VBird 	75 	55 	80 	70.00
   Ken 	60 	90 	70 	73.33

上面的格式共分为五个字段；
%10s代表的是一个长度为 10 个字符的字符串字段，
%5i 代表的是长度为 5 个字符的数字字段，
至于那个 %8.2f 则代表长度为 8 个字符的具有小数点的字段，其中小数点有两个字符宽度。

%8.2f 的意义:
字符宽度： 12345678
%8.2f 意义：00000.00
全部的宽度仅有 8 个字符，整数部分占有 5 个字符，小数点本身 (.) 占一位，小数点下的位数则有两位。

awk：好用的数据处理工具

相较于 sed 常常作用于一整个行的处理， awk 则比较倾向于一行当中分成数个『字段』来处理。
因此，awk 相当的适合处理小型的数据数据处理

awk 是『以行为一次处理的单位』，而『以字段为最小的处理单位』。

awk 通常运作的模式是这样的：

[dmtsai@study ~]$ awk \'条件类型 1动作 1 条件类型 2动作 2 ...\' filename

awk 后面接两个单引号并加上大括号来设定想要对数据进行的处理动作。 awk 可以处理后续接的文件，也可以读取来自前个指令的 standard output 。

awk 主要是处理『每一行的字段内的数据』，而默认的『字段的分隔符为 "空格键" 或 "[tab]键" 』

例子：用 last 可以将登入者的数据取出来

[dmtsai@study ~]$ last -n 5 <==仅取出前五行
dmtsai pts/0 192.168.1.100 Tue Jul 14 17:32 still logged in
dmtsai pts/0 192.168.1.100 Thu Jul 9 23:36 - 02:58 (03:22)
dmtsai pts/0 192.168.1.100 Thu Jul 9 17:23 - 23:36 (06:12)
dmtsai pts/0 192.168.1.100 Thu Jul 9 08:02 - 08:17 (00:14)
dmtsai tty1 Fri May 29 11:55 - 12:11 (00:15)

#若我想要取出账号与登入者的 IP ，且账号与 IP 之间以 [tab] 隔开，则会变成这样：
[dmtsai@study ~]$ last -n 5 | awk \'print $1 "\\t" $3\'
dmtsai 192.168.1.100
dmtsai 192.168.1.100
dmtsai 192.168.1.100
dmtsai 192.168.1.100
dmtsai Fri

# 第五行的内容怪怪的~这是因为数据格式的问题
# 所以～使用 awk的时候，请先确认一下你的数据当中，如果是连续性的数据，请不要有空格或 [tab] 在内，否则，就会像这个例子这样，会发生误判、

在 awk 的括号内，每一行的每个字段都是有变量名称的，那就是 $1, $2... 等变量名称。以上面的例子来说，dmtsai 是 $1 ，因为他是第一栏嘛！至于 192.168.1.100是第三栏，所以他就是 $3 啦！后面以此类推；
还有个变数喔！那就是 $0 ，$0 代表『一整列资料』的意思～以上面的例子来说，第一行的 $0 代表的就是『dmtsai .... 』那一行。

整个 awk 的处理流程是：

读入第一行，并将第一行的资料填入 $0, $1, $2.... 等变数当中；

依据 "条件类型" 的限制，判断是否需要进行后面的 "动作"；

做完所有的动作与条件类型；

若还有后续的『行』的数据，则重复上面 1~3 的步骤，直到所有的数据都读完为止

awk 的内建变量：

变量名称	代表意义
NF	每一行 ($0) 拥有的字段总数
NR	目前 awk 所处理的是『第几行』数据
FS	目前的分隔字符，默认是空格键

我们继续以上面 last -n 5 的例子来做说明，如果我想要：

列出每一行的账号(就是 $1)；

列出目前处理的行数(就是 awk 内的 NR 变量)

并且说明，该行有多少字段(就是 awk 内的 NF 变量)

awk 的逻辑运算字符

运算单元	运算单元
>	大于
>	小于
>=	大于或等于
<=	小于或等于
==	等于
!=	等于

# 在 /etc/passwd 当中是以冒号 ":" 来作为字段的分隔， 该文件中第一字段为账号，第三字则是 UID。那假设我要查阅，第三栏小于 10 以下的数据，并且仅列出账号与第三栏，

[dmtsai@study ~]$ cat /etc/passwd | awk \'FS=":" $3 < 10 print $1 "\\t " $3\'
root:x:0:0:root:/root:/bin/bash
bin 1
daemon 2
....(以下省略)....

第一行没有正确的显示出来，这是因为我们读入第一行的时候，那些变数 $1,$2... 默认还是以空格键为分隔的，所以虽然我们定义了 FS=":" 了，但是却仅能在第二行后才开始生效。

可以预先设定 awk 的变量啊！利用 BEGIN这个关键词。
除了 BEGIN 之外，我们还有 END

[dmtsai@study ~]$ cat /etc/passwd | awk \'BEGIN FS=":" $3 < 10 print $1 "\\t " $3\'
root 0
bin 1
daemon 2
......(以下省略)

awk的计算功能

假设我有一个薪资数据表档名为 pay.txt ，如何帮我计算每个人的总额？

Name 		1st 		2nd 		3th
VBird 		23000 		24000 		25000
DMTsai 		21000 		20000 		23000
Bird2 		43000 		42000 		41000

计算思路如下：

第一行只是说明，所以第一行不要进行加总 (NR==1 时处理)；

第二行以后就会有加总的情况出现 (NR>=2 以后处理)

[dmtsai@study ~]$ cat pay.txt | \\
> awk \'NR==1printf "%10s %10s %10s %10s %10s\\n",$1,$2,$3,$4,"Total" 
> NR>=2total = $2 + $3 + $4
> printf "%10s %10d %10d %10d %10.2f\\n", $1, $2, $3, $4, total\'
Name 		1st 		2nd 		3th 		Total
VBird 		23000 		24000 		25000 		72000.00
DMTsai 		21000 		20000 		23000 		64000.00
Bird2 		43000 		42000 		41000 		126000.00

上面的例子有几个重要事项应该要先说明的：

awk 的指令间隔：所有 awk 的动作，亦即在内的动作，如果有需要多个指令辅助时，可利用分号『;』间隔，或者直接以 [Enter] 按键来隔开每个指令，例如上面的范例中，鸟哥共按了三次 [enter] 喔！

逻辑运算当中，如果是『等于』的情况，则务必使用两个等号『==』！

格式化输出时，在 printf 的格式设定当中，务必加上 \\n ，才能进行分行！

与 bash shell 的变量不同，在 awk 当中，变量可以直接使用，不需加上 $ 符号。

awk的动作内也是支持 if (条件) 的

举例来说，上面的指令可以修订成为这样：

[dmtsai@study ~]$ cat pay.txt | \\
> awk \'if(NR==1) printf "%10s %10s %10s %10s %10s\\n",$1,$2,$3,$4,"Total"
> NR>=2total = $2 + $3 + $4
> printf "%10s %10d %10d %10d %10.2f\\n", $1, $2, $3, $4, total

文件比对工具

什么时候会用到文件的比对？通常是『同一个软件包的不同版本之间，比较配置文件与原始档的差异』。
很多时候所谓的文件比对，通常是用在 ASCII 纯文本档的比对上的。

最常见的就是 diff，除了 diff 比对之外，我们还可以利用 cmp 来比对非纯文本档！同时，也能够利用 diff 建立的分析文档，以处理补丁 (patch) 功能的文件。

diff

diff 就是用在比对两个文件之间的差异的，并且是以行为单位来比对的。
一般是用在 ASCII 纯文本档的比对上。由于是以行为比对的单位，因此 diff 通常是用在同一的文件(或软件)的新旧版本差异上。

举例来说，假如我们要将 /etc/passwd 处理成为一个新的版本，处理方式为：将第四行删除，第六行则取代成为『no six line』，新的文件放置到 /tmp/test 里面

[dmtsai@study ~]$ mkdir -p /tmp/testpw <==先建立测试用的目录
[dmtsai@study ~]$ cd /tmp/testpw
[dmtsai@study testpw]$ cp /etc/passwd passwd.old
[dmtsai@study testpw]$ cat /etc/passwd | sed -e \'4d\' -e \'6c no six line\' > passwd.new
# 注意一下， sed 后面如果要接超过两个以上的动作时，每个动作前面得加 -e 才行！
# 透过这个动作，在 /tmp/testpw 里面便有新旧的 passwd 文件存在了！

[dmtsai@study ~]$ diff [-bBi] from-file to-file
选项与参数：
from-file ：一个档名，作为原始比对文件的档名；
to-file ：一个档名，作为目的比对文件的档名；
注意，from-file 或 to-file 可以 - 取代，那个 - 代表『Standard input』之意。

-b ：忽略一行当中，仅有多个空白的差异(例如 "about me" 与 "about    me" 视为相同
-B ：忽略空白行的差异。
-i ：忽略大小写的不同。

范例一：比对 passwd.old 与 passwd.new 的差异：
[dmtsai@study testpw]$ diff passwd.old passwd.new
4d3 <==左边第四行被删除 (d) 掉了，基准是右边的第三行
< adm:x:3:4:adm:/var/adm:/sbin/nologin <==这边列出左边(<)文件被删除的那一行内容
6c5 <==左边文件的第六行被取代 (c) 成右边文件的第五行
< sync:x:5:0:sync:/sbin:/bin/sync <==左边(<)文件第六行内容
---
> no six line <==右边(>)文件第五行内容
# 很聪明吧！用 diff 就把我们刚刚的处理给比对完毕了

你不要用 diff 去比对两个完全不相干的文件，因为比不出内容；
diff 也可以比对整个目录下的差异；

cmp

cmp 主要也是在比对两个文件，他主要利用『字节』单位去比对，因此，当然也可以比对 binary file ；
diff 主要是以『行』为单位比对， cmp 则是以『字节』为单位去比对，这并不相同。

[dmtsai@study ~]$ cmp [-l] file1 file2
选项与参数：
-l ：将所有的不同点的字节处都列出来。因为 cmp 预设仅会输出第一个发现的不同点。

范例一：用 cmp 比较一下 passwd.old 及 passwd.new
[dmtsai@study testpw]$ cmp passwd.old passwd.new
passwd.old passwd.new differ: char 106, line 4

第一个发现的不同点在第四行，而且字节数是在第 106 个字节处！这个 cmp 也可以用来比对 binary。

patch

patch 这个指令与 diff 可是有密不可分的关系

我们前面提到，diff 可以用来分辨两个版本之间的差异，举例来说，刚刚我们所建立的 passwd.old 及 passwd.new 之间就是两个不同版本的文件。
如果要『升级』，就是『将旧的文件升级成为新的文件』，可以利用patch指令，『先比较新旧版本的差异，并将差异档制作成为补丁档，再由补丁档更新旧文件』即可。

范例一：以 /tmp/testpw 内的 passwd.old 与 passwd.new 制作补丁文件
[dmtsai@study testpw]$ diff -Naur passwd.old passwd.new > passwd.patch
[dmtsai@study testpw]$ cat passwd.patch
--- passwd.old 2015-07-14 22:37:43.322535054 +0800 <==新旧文件的信息
+++ passwd.new 2015-07-14 22:38:03.010535054 +0800
@@ -1,9 +1,8 @@ <==新旧文件要修改数据的界定范围，旧档在 1-9 行，新檔在 1-8 行
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
-adm:x:3:4:adm:/var/adm:/sbin/nologin <==左侧文件删除
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
-sync:x:5:0:sync:/sbin:/bin/sync <==左侧文件删除
+no six line <==右侧新档加入
shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
halt:x:7:0:halt:/sbin:/sbin/halt
mail:x:8:12:mail:/var/spool/mail:/sbin/nologin

一般来说，使用 diff 制作出来的比较文件通常使用扩展名为 .patch

# 因为 CentOS 7 预设没有安装 patch 这个软件，因此得要依据之前介绍的方式来安装一下软件！
# 请记得拿出原本光盘并放入光驱当中，这时才能够使用底下的方式来安装软件！
[dmtsai@study ~]$ su -
[root@study ~]# mount /dev/sr0 /mnt
[root@study ~]# rpm -ivh /mnt/Packages/patch-2.*
[root@study ~]# umount /mnt
[root@study ~]# exit
# 透过上述的方式可以安装好所需要的软件，且无须上网。接下来让我们开始操作 patch 啰！

[dmtsai@study ~]$ patch -pN < patch_file <==更新
[dmtsai@study ~]$ patch -R -pN < patch_file <==还原
选项与参数：
-p ：后面可以接『取消几层目录』的意思。
-R ：代表还原，将新的文件还原成原来旧的版本。

范例二：将刚刚制作出来的 patch file 用来更新旧版数据
[dmtsai@study testpw]$ patch -p0 < passwd.patch
patching file passwd.old
[dmtsai@study testpw]$ ll passwd*
-rw-rw-r--. 1 dmtsai dmtsai 2035 Jul 14 22:38 passwd.new
-rw-r--r--. 1 dmtsai dmtsai 2035 Jul 14 23:30 passwd.old <==文件一模一样！

范例三：恢复旧文件的内容
[dmtsai@study testpw]$ patch -R -p0 < passwd.patch
[dmtsai@study testpw]$ ll passwd*
-rw-rw-r--. 1 dmtsai dmtsai 2035 Jul 14 22:38 passwd.new
-rw-r--r--. 1 dmtsai dmtsai 2092 Jul 14 23:31 passwd.old
# 文件就这样恢复成为旧版本啰

第十二章正规表示法与文件格式化处理

1. 前言： 什么是正规表示法

　　1.1 什么是正规表示法

　　1.2 正规表示法对於系统管理员的用途

　　1.3 正规表示法的广泛用途

　　1.4 正规表示法与 Shell 在 Linux 当中的角色定位

　　1.5 延伸的正规表示法

2. 基础正规表示法

　　2.1 语系对正规表示法的影响

　　2.2 grep 的一些进阶选项

　　2.3 基础正规表示法练习

　　2.4 基础正规表示法字符汇整(characters)

　　2.5 sed 工具： 行的新增/删除, 行的取代/显示, 搜寻并取代, 直接改档

3. 延伸正规表示法

4. 文件的格式化与相关处理

　　4.1 printf： 格式化列印

　　4.2 awk：好用的数据处理工具

　　4.3 文件比对工具：, diff, cmp, patch

　　4.4 文件列印准备工具： pr

5. 重点回顾

1. 前言： 什么是正规表示法

1.1 什么是正规表示法

1.2 正规表示法对於系统管理员的用途

1.3 正规表示法的广泛用途

1.4 正规表示法与 Shell 在 Linux 当中的角色定位

1.5 延伸的正规表示法

2. 基础正规表示法

2.1 语系对正规表示法的影响

2.2 grep 的一些进阶选项

2.3 基础正规表示法练习

2.4 基础正规表示法字符汇整(characters)

2.5 sed 工具： 行的新增/删除, 行的取代/显示, 搜寻并取代, 直接改档

3. 延伸正规表示法

4. 文件的格式化与相关处理

4.1 printf： 格式化列印

4.2 awk：好用的数据处理工具

4.3 文件比对工具：, diff, cmp, patch

4.4 文件列印准备工具： pr

5. 重点回顾

以上是关于Linux笔记：3-正规表示法与文件格式化处理的主要内容，如果未能解决你的问题，请参考以下文章

鸟哥私房菜基础篇：正规表示法与文件格式化处理习题

Linux sed 命令详解

正则表达式学习笔记

鸟哥的Linux私房菜——第十五章：正规表示法

Linux学习笔记3-文件与目录管理一

LINUX 笔记-条件测试

RE 字符	意义与范例
^word	意义：待搜寻的字符串(word)在行首！范例：搜寻行首为 # 开始的那一行，并列出行号 grep -n \'^#\' regular_express.txt
word$	意义：待搜寻的字符串(word)在行尾！范例：将行尾为 ! 的那一行打印出来，并列出行号 grep -n \'!$\' regular_express.txt
.	意义：代表『一定有一个任意字符』的字符！范例：搜寻的字符串可以是 (eve) (eae) (eee) (e e)，但不能仅有 (ee) ！亦即 e 与 e 中间『一定』仅有一个字符，而空格符也是字符！ grep -n \'e.e\' regular_express.txt
\\	意义：跳脱字符，将特殊符号的特殊意义去除！范例：搜寻含有单引号 \' 的那一行！ grep -n \' regular_express.txt
*	意义：重复零个到无穷多个的前一个 RE 字符范例：找出含有 (es) (ess) (esss) 等等的字符串，注意，因为 * 可以是 0 个，所以 es 也是符合带搜寻字符串。另外，因为 * 为重复『前一个 RE 字符』的符号，因此，在 * 之前必须要紧接着一个 RE 字符喔！例如任意字符则为『.』！ grep -n \'ess\' regular_express.txt
[list]	意义：字符集合的 RE 字符，里面列出想要撷取的字符！范例：搜寻含有 (gl) 或 (gd) 的那一行，需要特别留意的是，在 [] 当中『谨代表一个待搜寻的字符』，例如『 a[afl]y 』代表搜寻的字符串可以是 aay, afy, aly 即 [afl] 代表 a 或 f 或 l 的意思！ grep -n \'g[ld]\' regular_express.txt
[n1-n2]	意义：字符集合的 RE 字符，里面列出想要撷取的字符范围！范例：搜寻含有任意数字的那一行！需特别留意，在字符集合 [] 中的减号 - 是有特殊意义的，他代表两个字符之间的所有连续字符！但这个连续与否与 ASCII 编码有关，因此，你的编码需要设定正确(在 bash 当中，需要确定 LANG 与 LANGUAGE 的变量是否正确！) 例如所有大写字符则为 [A-Z] grep -n \'[A-Z]\' regular_express.txt
[^list]	意义：字符集合的 RE 字符，里面列出不要的字符串或范围！范例：搜寻的字符串可以是 (oog) (ood) 但不能是 (oot) ，那个 ^ 在 [] 内时，代表的意义是『反向选择』的意思。例如，我不要大写字符，则为 [^A-Z]。但是，需要特别注意的是，如果以 grep -n [^A-Z] regular_express.txt 来搜寻，却发现该文件内的所有行都被列出，为什么？因为这个 [^A-Z] 是『非大写字符』的意思，因为每一行均有非大写字符，例如第一行的 "Open Source" 就有 p,e,n,o.... 等等的小写字 grep -n \'oo[^t]\' regular_express.txt
	意义：连续 n 到 m 个的『前一个 RE 字符』意义：若为 n 则是连续 n 个的前一个 RE 字符，意义：若是 n, 则是连续 n 个以上的前一个 RE 字符！范例：在 g 与 g 之间有 2 个到 3 个的 o 存在的字符串，亦即 (goog)(gooog) grep -n \'go2,3g\' regular_express.txt

RE 字符	意义与范例
+	意义：重复『一个或一个以上』的前一个 RE 字符范例：搜寻 (god) (good) (goood)... 等等的字符串。那个 o+ 代表『一个以上的 o 』所以，底下的执行成果会将第 1, 9, 13 行列出来。 egrep -n \'go+d\' regular_express.txt
?	意义：『零个或一个』的前一个 RE 字符范例：搜寻 (gd) (god) 这两个字符串。那个 o? 代表『空的或 1 个 o 』所以，上面的执行成果会将第 13, 14 行列出来。有没有发现到，这两个案例( \'go+d\' 与 \'go?d\' )的结果集合与 \'go*d\' 相同？想想看，这是为什么喔！ ^_ egrep -n \'go?d\' regular_express.txt
\|	意义：用或( or )的方式找出数个字符串范例：搜寻 gd 或 good 这两个字符串，注意，是『或』！所以，第 1,9,14 这三行都可以被打印出来喔！那如果还想要找出 dog 呢？ egrep -n \'gd\|good\' regular_express.txt egrep -n \'gd\|good\|dog\' regular_express.txt
()	意义：找出『群组』字符串范例：搜寻 (glad) 或 (good) 这两个字符串，因为 g 与 d 是重复的，所以，我就可以将 la 与 oo 列于 ( ) 当中，并以 \| 来分隔开来，就可以啦！ egrep -n \'g(la\|oo)d\' regular_express.txt
()+	意义：多个重复群组的判别范例：将『AxyzxyzxyzxyzC』用 echo 叫出，然后再使用如下的方法搜寻一下！ echo \'AxyzxyzxyzxyzC\' \| egrep \'A(xyz)+C\' 上面的例子意思是说，我要找开头是 A 结尾是 C ，中间有一个以上的 "xyz" 字符串的意思～