Shell正则表达式（1-3）

Posted 2021-05-02 L先生的IT小世界

一、 正则表达式：
正则表达式（或称 Regular Expression，简称 RE）就是由普通字符（例如字符 a 到 z）以及特殊字符（称
为元字符） 组成的文字模式。
该模式描述在查找文字主体时待匹配的一个或多个字符串。
正则表达式作为一个模板，将某个字符模式与所搜索的字符串进行匹配。 简单的说，正则表示式就是处
理字符串的方法，它是以行为单位来进行字符串的处理行为， 正则表示式通过一些特殊符号的辅助，可以
让使用者轻易的达到搜寻/删除/取代某特定字符串的处理程序。 vim、 grep、 find、 awk、 sed 等命令都支持
正则表达式。
常用正则表达式：
1、 .代表任意单个字符, 如： /l..e/与包含一个 l，后跟两个字符，然后跟一个 e 的行相匹配
2、 ^代表行的开始。 ^love 如：与所有 love 开头的行匹配
3、 $代表行的结束。 love$ 如：与所有 love 结尾的行匹配
那么‘^$’ 就表示空行
4、 […]匹配括号中的字符之一
[abc] 匹配单个字符 a 或 b 或 c
[123] 匹配单个字符 1 或 2 或 3
[a-z] 匹配小写字母 a-z 之一
[a-zA-Z] 匹配任意英文字母之一
[0-9a-zA-Z]匹配任意英文字母或数字之一
注意： 上面标红色的单个和之一，不管[ ]里面多复杂，它的结果都是一个字符！
可以用^标记做[ ]内的前缀， 表示除[ ]内的字符之外的字符。比如 搜索 oo 前没有 g 的字符串的行. 应用
'[^g]oo' 作搜索字符串， ^符号如果出现在[ ]的起始位置表示否定，但是在[ ]的其他位置是普通字符。
[^ab^c] 匹配不是 a， b， ^， c 的任意单个字符
5、 * 用于修饰前导字符，表示前导字符出现 0 次或任意多次
如： 'a*grep'匹配所有 0 个或多个 a 后紧跟 grep 的行。“.*”表示任意字符串
6、 \? 用于修饰前导字符，表示前导字符出现 0 或 1 次
a\? 匹配 0 或 1 个 a
7、 \+ 用于修饰前导字符，表示前导字符出现 1 或多次
a\+ 匹配 1 或多个 a
8、 \{n,m\} 用于修饰前导字符，表示前导字符出现 n 至 m 次 （n 和 m 都是整数，且 n<m）
a\{3,5\} 匹配 3 至 5 个连续的 a
\{n,m\}还有其他几种形式：
\{n\} 连续的 n 个前导字符
\{n,\} 连续的至少 n 个前导字符
9、 \ 用于转义紧跟其后的单个特殊字符，使该特殊字符成为普通字符
如： ^\.[0-9][0-9] 对以一个句点和两个数字开始
例如：
a* 匹配连续的任意（也包括 0）个 a
a\? 匹配 0 或 1 个 字符串
a\+ 匹配 1 或多个 字符串
a\{3,5\} 匹配 3 至 5 个连续的 字符串
\.* 匹配 0 或多个连续的. \.表示普通字符句点
10、 ｜ 表示或 如： a|b|c 匹配 a 或 b 或 c。如： grep|sed 匹配 grep 或 sed
11、（），将部分内容合成一个单位组，比如 要搜索 glad 或 good 可以如下 'g(la|oo)d'

二、 grep 命令的用法
grep （global search regular expression(RE) and print out the line,全面搜索正则表达式并把行打印出来）是一
种强大的文本搜索工具，它能使用正则表达式搜索文本，并把匹配的行打印出来.
参数：
1. -A NUM， --after-context=NUM 除了列出符合行之外，并且列出后 NUM 行。
如: $ grep –A 1 panda file (从 file 中搜寻有 panda 样式的行，并显示该行的后 1 行)
2. -B NUM， --before-context=NUM 与 -A NUM 相对，但这此参数是显示除符合行之外并显示在它之前的
NUM 行。 如: (从 file 中搜寻有 panda 样式的行，并显示该行的前 1 行)
$ grep -B 1 panda file
3、 -C [NUM], -NUM, --context[=NUM] 列出符合行之外并列出上下各 NUM 行。 默认值为 2
如: (列出 file 中除包含 panda 样式的行外并列出其上下 2 行)(若要改变默认值，直接改变 NUM 即可)
$ grep -C[NUM] panda file
4、 -c, --count 不显示符合样式行， 只显示符合的总行数。若再加上-v,--invert-match，参数显示不符合的
总行数
5、 -i， --ignore-case 忽略大小写差别
6、 -n， --line-number 在匹配的行前面打印行号
7、 -v， --revert-match 反检索，只显示不匹配的行
8、 精确匹配： \<字符串\>
例如在抽取字符串“ 48”，返回结果包含诸如 484 和 483 等包含“48”的其他字符串，实际上应精确
抽取只包含 48 的各行。
使用 grep 抽取精确匹配的一种有效方式是在抽取字符串后加\>。假定现在精确抽取 48，
方法如下：
#grep '48\>' filename
9、 -s 不显示不存在或无匹配文本的错误信息
如：执行命令 grep "root" /etc/password，因为 password 文件不存在，所以在屏幕上输出错误信息，若
使用 grep 命令-s 开关，可屏蔽错误信息
要用好 grep 这个工具，其实就是要写好正则表达式，所以这里不对 grep 的所有功能进行实例讲解，只列几
个例子，讲解一个正则表达式的写法。
$ ls -l | grep '^d'
通过管道过滤 ls -l 输出的内容，只显示以 d 开头的行。
$ grep 'test' d*
显示所有以 d 开头的文件中包含 test 的行。
$ grep 'test' aa bb cc
显示在 aa， bb， cc 文件中匹配 test 的行。
$ grep '[a-z]\{5,\}' aa
显示所有包含每个字符串至少有 5 个连续小写字符的字符串的行。
$grep ‘t[a|e]st’ filename
显示包含 test 或 tast 的所有行。
$grep '\.$' filename
显示以.为结尾的所有行。
三、 sed 命令的用法
sed 是一种在线编辑器，它一次处理一行内容。处理时，把当前处理的行存储在临时缓冲区中，称为“模
式空间”（pattern space），接着用 sed 命令处理缓冲区中的内容，处理完成后，把缓冲区的内容送往屏幕。
接着处理下一行，这样不断重复，直到文件末尾。文件内容并没有改变，除非你使用重定向存储输出。
sed 的基本命令：
1． 替换: s 命令
1.1 基本用法
如： sed 's/day/night/' <old >new
该例子将文件 old 中的每一行第一次出现的 day 替换成 night, 将结果输出到文件 new
s " 替换 " 命令
/../../ 分割符 (Delimiter)
day 搜索字符串
night 替换字符串
其实 , 分割符 "/" 可以用别的符号代替,比如 ",", "|"等 .
如： sed 's/\/usr\/local\/bin/\/common\/bin/'<old >new
等价于 sed 's_/usr/local/bin_/common/bin_' <old >new
显然 , 此时用 "_" 作分割符比 "/" 好得多
1.2 用 & 表示匹配的字符串
有时可能会想在匹配到的字符串周围或附近加上一些字符 .
如： sed 's/abc/(abc)/' <old >new
该例子在找到的 abc 前后加上括号 .
该例子还可以写成 sed 's/abc/(&)/' <old >new
下面是更复杂的例子 :
sed 's/[a-z]*/(&)/' <old >new
sed 默认只替换搜索字符串的第一次出现 , 利用 /g 可以替换搜索字符串所有
$ sed 's/test/mytest/g' example-----在整行范围内把 test 替换为 mytest。如果没有 g 标记，则只有每行第
一个匹配的 test 被替换成 mytest。
$ sed 's/^192.168.0.1/&localhost/' example-----&符号表示替换字符串中被找到的部份。所有以 192.168.0.1
开头的行都会被替换成它自已加 localhost，变成 192.168.0.1localhost。
$ sed 's#10#100#g' example-----不论什么字符，紧跟着 s 命令的都被认为是新的分隔符，所以， “#”在这
里是分隔符，代替了默认的“/”分隔符。表示把所有 10 替换成 100。
如果需要对同一文件或行作多次修改，可以使用 "-e" 选项

2． 删除行： d 命令
从某文件中删除包含 "how" 的所有行

将/etc/passwd 的内容显示并找印行号，同时将 2~5 删除

附： nl 命令在 linux 系统中用来计算文件中行号。 nl 可以将输出的文件内容自动的加上行号
如果只要删除第 2 行，可以使用 nl /etc/passwd | sed '2d' 来达成，至于若是要删除第 3 到最后一行，
则是 nl /etc/passwd | sed '3,$d'的啦。

3． 增加行： a 命令（在指定的行后新增）或 i 命令（在指定的行前新增）
a 的后面可以接字符串，而这些字符串会在新的一行出现
在/etc/passwd 的第二行后增加“XXXXX”字样的新行

在/etc/passwd 的第二行前增加“XXXXX”字样的新行

如果要同时新增多行，则每行之间要用反斜杠\来进行新行的添加

4、 取代行： c 命令
c 的后面可以接字符串，这些字符串可以取代 n1,n2 之间的行

5、 打印： p 命令
sed '/north/p' datafile 默认输出所有行，找到 north 的行重复打印
sed –n '/north/p' datafile 禁止默认输出， 只打印找到 north 的行
nl /etc/passwd | sed -n '5,7p' 仅列出/etc/passwd 文件中的第 5～7 行内容
注： sed 的-i 选项可以直接修改文件中的内容

6． 扩展:
调用sed有三种方式：
 在命令行键入命令
 将sed命令插入脚本文件，然后调用sed
 将sed命令插入脚本文件，并使sed脚本可执行。
A、 使用sed命令行格式为：
sed [选项] sed命令 输入文件。
记住在命令行使用sed命令时，实际命令要加单引号。 sed也允许加双引号。
B、 使用sed脚本文件，格式为：
sed [选项] -f sed脚本文件 输入文件
C、 要使用第一行具有sed命令解释器的sed脚本文件，其格式为：
sed脚本文件 [选项] 输入文件
不管是使用shell命令行方式或脚本文件方式，如果没有指定输入文件， sed从标准输入中接受输入，一般
是键盘或重定向结果。
sed选项如下：
-f, --filer=script-file 引导 sed 脚本文件名
综合举例：
通过 sed 脚本对 test.txt 进行处理， test.txt 文件内容如下：

创建 sed 脚本文件 append.sed，通过 sed 脚本向 test.txt 中新增内容，脚本内容如下：

保存它，增加可执行权限： chmod +x append.sed

运行脚本 append.sed

显示结果如下：

现在查看其具体功能。
第一行是sed命令解释行。脚本在这一行查找sed以运行命令，这里定位在/bin。
第二行以/company/开始，这是附加操作起始位置。 a\通知sed这是一个附加操作，首先应插入二个新行。
第三、四行是附加操作要加入到拷贝的实际文本。
这里只举例通过sed脚本增加新行的操作，有关sed的其他操作大家要会举一反三。