Linux命令也有外挂

Posted 2021-04-27 网络消防员

一、正则表达式：

正则表达式（或称Regular Expression，简称RE）就是由普通字符（例如字符 a 到 z）以及特殊字符（称为元字符）组成的文字模式。该模式描述在查找文字主体时待匹配的一个或多个字符串。正则表达式作为一个模板，将某个字符模式与所搜索的字符串进行匹配

vim、grep、awk、sed都支持正则表达式

1、字符

‘.’代表任意单个字符

‘?’ 匹配零个或一个字符，如：'gr?p'匹配gr后跟一个或没有字符，然后是p的行

‘^’作为RE的第一个字符，代表行的开始，在其他位置是普通字符

‘$’作为RE的最后一个字符，代表行的结束，在其他位置是普通字符

那么‘^$’ 就表示空行

2、[…]匹配括号中的字符之一

[abc]---匹配单个字符a或b或c

[123]---匹配单个字符1或2或3

[a-z]---匹配小写字母a-z之一

[a-zA-Z]---匹配任意英文字母之一

[0-9a-zA-Z]---匹配任意英文字母或数字之一

注意上面的单个和之一，不管[]里面多复杂，它的结果都是一个字符！

可以用‘^’标记做‘[]’内的前缀，表示除‘[]’内的字符之外的字符

比如搜索oo前没有g的字符串的行，应用 '[^g]oo' 作搜索字符串

‘^’符号如果出现在[]的起始位置表示否定，但是在其他位置是普通字符

[^ab^c] 匹配不是a或b或^或c的任意字符

‘*’ 用于修饰前导字符，表示前导字符出现任意多次，如：'a*grep'匹配所有一个或多个a后紧跟grep的行

\? 用于修饰前导字符，表示前导字符出现0或1次

\+ 用于修饰前导字符，表示前导字符出现1或多次

\{n,m\}  用于修饰前导字符，表示前导字符出现n至m次 （n和m都是整数，且n<m）

\{n,m\}还有其他几种形式：\{n\}  连续的n个前导字符、\{n,\}  连续的至少n个前导字符

\  用于转义紧跟其后的单个特殊字符，使该特殊字符成为普通字符

注：以上“前导字符”表示紧贴于元字符前面的单个普通字符

例如：

a* 匹配连续的任意（也包括0）个a

.* 匹配连续的任意（也包括0）个任意字符，传说中的万能匹配！

a\? 匹配0或1个a

a\+ 匹配1或多个a

a\{3,5\} 匹配3至5个连续的a

\.* 匹配0或多个连续的.    

\.表示普通字符句点

｜表示或  如： a|b|c 匹配a或b或c。如：grep|sed匹配grep或sed

（），将部分 内容合成一个单位组，比如 要搜索glad 或 good 可以如许 'g(la|oo)d'

二. grep命令配合正则表达式的用法

grep （global search regular expression(RE) and print out the line,全面搜索正则表达式并把行打印出来）是一种强大的文本搜索工具，它能使用正则表达式搜索文本，并把匹配的行打印出来

1. -A NUM，--after-context=NUM   除了列出符合行之外，并且列出后NUM行

　　如:   $ grep –A 1 panda file  (从file中搜寻有panda样式的行，并显示该行的后1行)

2. -a或—text   grep原本是搜寻文字文件，若拿二进制的档案作为搜寻的目标，则会显示如下的讯息: Binary file 二进制文件名 matches 然后结束，若加上-a参数则可将二进制档案视为文本文件搜寻

相当于--binary-files=text这个参数。

　　example:    (从二进制档案mv中去搜寻panda样式)

　　(错误!!!)

　　$ grep panda mv

　　Binary file mv matches

　　(这表示此档案有match之处，详见--binary-files=TYPE )

　　(正确!!!)

　　$ grep -a panda mv

3. -B NUM，--before-context=NUM  与 -A NUM 相对，但这此参数是显示除符合行之外并显示在它之前的NUM行。example:    (从file中搜寻有panda样式的行，并显示该行的前1行)

$ grep -B 1 panda file

4、 -C [NUM], -NUM, --context[=NUM]  列出符合行之外并列出上下各NUM行默认值是2

example:    (列出file中除包含panda样式的行外并列出其上下2行)(若要改变默认值，直接改变NUM即可)

$ grep -C[NUM] panda file

5、 -c, --count  不显示符合样式行，只显示符合的总行数。若再加上-v,--invert-match，参数显示不符合的总行数

6、-i，--ignore-case 忽略大小写差别

7、-n，--line-number 在匹配的行前面打印行号

8、-v，--revert-match  反检索，只显示不匹配的行

要用好grep这个工具，其实就是要写好正则表达式，所以这里不对grep的所有功能进行实例讲解，只列几个例子，讲解一个正则表达式的写法。 $ ls -l | grep '^a' 通过管道过滤ls -l输出的内容，只显示以a开头的行。 $ grep 'test' d* 显示所有以d开头的文件中包含test的行。 $ grep 'test' aa bb cc 显示在aa，bb，cc文件中匹配test的行。 $ grep '[a-z]\{5,\}' aa 显示所有包含每个字符串至少有5个连续小写字符的字符串的行。

三. sed命令配合正则表达式的用法

sed是一种在线编辑器，它一次处理一行内容。处理时，把当前处理的行存储在临时缓冲区中，称为“模式空间”（pattern space），接着用sed命令处理缓冲区中的内容，处理完成后，把缓冲区的内容送往屏幕。接着处理下一行，这样不断重复，直到文件末尾。文件内容并没有改变，除非你使用重定向存储输出。

1. 基本命令  1.1 基本用法  如： sed 's/day/night/' <old >new  该例子将文件 old 中的每一行第一次出现的 day 替换成 night将结果输出到文件 new  s----替换 命令  /../../----分割符 (Delimiter)  day----- 搜索字符串  night-----替换字符串  其实 , 分割符 "/" 可以用别的符号代替 , 比如 ",", "|" 等 如：sed 's/\/usr\/local\/bin/\/common\/bin/'<old >new  等价于 sed 's_/usr/local/bin_/common/bin_' <old >new  显然 , 此时用 "_" 作分割符比 "/" 好得多

1.2 用 & 表示匹配的字符串  有时可能会想在匹配到的字符串周围或附近加上一些字符 如： sed 's/abc/(abc)/' <old >new  该例子在找到的 abc 前后加上括号 .  该例子还可以写成 sed 's/abc/(&)/' <old >new  下面是更复杂的例子 :  sed 's/[a-z]*/(&)/' <old >new

sed 默认只替换搜索字符串的第一次出现 , 利用 /g 可以替换搜索字符串所有匹配项

$ sed 's/test/mytest/g' example-----在整行范围内把test替换为mytest，如果没有g标记则只有每行第一个匹配的test被替换成mytest

$ sed 's/^192.168.0.1/&localhost/' example-----&符号表示替换字符串中被找到的部份。所有以192.168.0.1开头的行都会被替换成它自已加 localhost，变成192.168.0.1localhost。

$ sed 's#10#100#g' example-----不论什么字符，紧跟着s命令的都被认为是新的分隔符，所以，“#”在这里是分隔符，代替了默认的“/”分隔符。表示把所有10替换成100。

下面给出一些练习，小伙伴们可以试试，加深理解

1、使用grep 显示出/usr/share/dict/words 文件中所有含有fish 的行

grep fish /usr/share/dict/words

2、使用grep 输出任何包含fish 的所有行，还要输出紧接着这行的上下各两行的内容

grep -B 2 -A 2 "fish" /usr/share/dict/words 或grep -C 2 "fish" /usr/share/dict/words

3、使用grep 来显示出在words 文件中有多少行含有fish

grep –c "fish" /usr/share/dict/words

4、使用grep 显示出那些行含有fish，并将行号一块输出，看一看starfish 在哪行

grep –n "fish" /usr/share/dict/words

5、想列出/usr/share/dict/words中包含先有字母t 然后有一个元音字母，之后是sh 的单词，命令为：

grep "t[aeiou]sh" /usr/share/dict/words