不看绝对后悔的Linux三剑客之grep实战精讲
Posted
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了不看绝对后悔的Linux三剑客之grep实战精讲相关的知识，希望对你有一定的参考价值。
三、Linux三剑客之grep命令精讲
[命令简介]
Linux系统中grep命令是一种强大的文本搜索工具，它能使用正则表达式搜索文本，并把匹 配的行打印出来。grep全称是Global Regular Expression Print，表示全局正则表达式版本，它的使用权限是所有用户。
[功能说明]
grep***** ==擅长过滤器，把想要的或者不想要的分离开。Linux三剑客 老三。
[用法格式]
grep [选项]... PATTERN [FILE]...
[参数选项]
[options]主要参数：
-c：只输出匹配行的计数。 -i：不区分大 小写(只适用于单字符)。
-h：查询多文件时不显示文件名。
-l：查询多文件时只输出包含匹配字符的文件名。
-n：显示匹配行及 行号。
-s：不显示不存在或无匹配文本的错误信息。
-v：排除，不显示过滤的字符串的行；显示不包含匹配文本的所有行
-E ：过滤多个字符串
-o ：输出精确匹配的字符而不是默认的整行
-f ：指定规则文件，其内容含有一个或多个规则样式
让grep查找符合规则条件的文件内容，格式为每行一个规则样式
#Context control：
-B 除了显示匹配的一行之外，并显示该行之前的num行
-A 除了显示匹配的一行之外，并显示该行之后的num行
-C 除了显示匹配的一行之外，并显示该行之前后各num行
grep "String" -B 10 test.txt #显示匹配的String行和String的前10行。
pattern正则表达式主要参数：
\：忽略正则表达式中特殊字符的原有含义。
^：匹配正则表达式的开始行。
$: 匹配正则表达式的结束行。
\<：从匹配正则表达 式的行开始。
\>：到匹配正则表达式的行结束。
[ ]：单个字符，如 [Gg]rep 匹配Grep和grep。
[ - ]：范围，如[A-Z]，即A、B、C一直到Z都符合要求。
[^]：匹配一个不在指定范围内的字符
如：‘[^A-FH-Z]rep‘匹配不包含A-F和H-Z的一个字母开头，紧跟rep的行
x\{m\}：重复字符x，m次，如：‘0\{5\}‘匹配包含5个0的行
x\{m,\}：重复字符x,至少m次，如：‘0\{5,\}‘匹配至少有5个0的行
x\{m,n\}：重复字符x，至少m次，不多于n次，如：‘0\{5,10\}‘匹配5 -- 10个0的行
.：所有的单个字符。
*：有字符，长度可以为0。
[实践案例]
实战准备： 1、调整别名 alias grep=‘grep --color=auto‘ 注意字符集：可能带来的问题 export LC_ALL=C
1、查找指定进程：
[[email protected] ~]# ps -ef|grep svn root 4943 1 0 Dec05 ? 00:00:00 svnserve -d -r /opt/svndata/grape/ root 16867 16838 0 19:53 pts/0 00:00:00 grep svn [[email protected] ~]#
#第一条记录是查找出的进程；第二条结果是grep进程本身，并非真正要找的进程。
2、查找指定进程个数：
[[email protected] ~]# ps -ef|grep svn -c 2 [[email protected] ~]# ps -ef|grep -c sshd 6 [[email protected] ~]#
#匹配进程输出多少行的计数。这里表示sshd输出有6行。
3、从文件中读取关键词进行搜索：
[[email protected] test]# cat test.txt hnlinux peida.cnblogs.com ubuntu ubuntu linux redhat Redhat linuxmint [[email protected] test]# cat test2.txt linux Redhat [[email protected] test]# cat test.txt | grep -f test2.txt hnlinux ubuntu linux Redhat linuxmint [[email protected] test]#
#输出test.txt文件中含有从test2.txt文件中读取出的关键词的内容行。
4、从文件中读取关键词进行搜索 且显示行号：
[[email protected] test]# cat test.txt hnlinux peida.cnblogs.com ubuntu ubuntu linux redhat Redhat linuxmint [[email protected] test]# cat test2.txt linux Redhat [[email protected] test]# cat test.txt | grep -nf test2.txt 1:hnlinux 4:ubuntu linux 6:Redhat 7:linuxmint [[email protected] test]#
#输出test.txt文件中含有从test2.txt文件中读取出的关键词的内容行，并显示输出每一行的行号。
5、从文件中查找关键词 并显示行号：
[[email protected] test]# grep ‘linux‘ test.txt hnlinux ubuntu linux linuxmint [[email protected] test]# grep -n ‘linux‘ test.txt 1:hnlinux 4:ubuntu linux 7:linuxmint [[email protected] test]#
#显示匹配字符串’linux’的行，并且显示输出行的行号。
6、从多个文件中查找关键词：
[[email protected] test]# grep -n ‘linux‘ test.txt test2.txt test.txt:1:hnlinux test.txt:4:ubuntu linux test.txt:7:linuxmint test2.txt:1:linux #文件名:行号:匹配内容的行 [[email protected] test]# grep ‘linux‘ test.txt test2.txt test.txt:hnlinux test.txt:ubuntu linux test.txt:linuxmint test2.txt:linux [[email protected] test]#
#多文件时，输出查询到的信息内容行时，会把文件的命名在行最前面输出并且加上":"作为标示符
7、grep不显示本身进程:
[[email protected] test]# ps aux|grep ssh root 2720 0.0 0.0 62656 1212 ? Ss Nov02 0:00 /usr/sbin/sshd root 16834 0.0 0.0 88088 3288 ? Ss 19:53 0:00 sshd: [email protected]/0 root 16901 0.0 0.0 61180 764 pts/0 S+ 20:31 0:00 grep ssh [[email protected] test]# ps aux|grep [s]sh root 2720 0.0 0.0 62656 1212 ? Ss Nov02 0:00 /usr/sbin/sshd root 16834 0.0 0.0 88088 3288 ? Ss 19:53 0:00 sshd: [email protected]/0 [[email protected] test]# ps aux | grep ssh | grep -v "grep" root 2720 0.0 0.0 62656 1212 ? Ss Nov02 0:00 /usr/sbin/sshd root 16834 0.0 0.0 88088 3288 ? Ss 19:53 0:00 sshd: [email protected]/0
#ps -aux|grep [s]sh这句命令意思笔者也不是很清楚，但是能实现效果；ps aux | grep ssh 输出结果继续交给管道后面的grep -v "grep"命令处理，-v过滤掉了 grep 本身进程。
8、找出以u开头的行内容：
[[email protected] test]# cat test.txt |grep ^u ubuntu ubuntu linux [[email protected] test]#
#使用正则表达式“ ^ ”匹配以u字母的开始行；“ ^ ”放在要匹配的字符串前。
9、输出非u开头的行内容：
[[email protected] test]# cat test.txt |grep ^[^u] hnlinux peida.cnblogs.com redhat Redhat linuxmint [[email protected] test]#
10、输出以hat结尾的行内容：
[[email protected] test]# cat test.txt |grep hat$ redhat Redhat [[email protected] test]#
#使用正则表达式“ $ ”匹配以hat字符串为结尾的行；“ $ ”放在要匹配的字符串后。
11、ifconfig匹配过滤出ip地址：
[[email protected] test]# ifconfig eth0|grep "[0-9]\{1,3\}\.[0-9]\{1,3\}\.[0-9]\{1,3\}\.[0-9]\{1,3\}" inet addr:192.168.120.204 Bcast:192.168.120.255 Mask:255.255.255.0 [[email protected] test]# ifconfig eth0|grep -E "([0-9]{1,3}\.){3}[0-9]" inet addr:192.168.120.204 Bcast:192.168.120.255 Mask:255.255.255.0 [[email protected] test]#
#“[0-9]\{1,3\}\.”表示“.”符号前面重复0-9中的数字，至少1个，不多于或等于3个。“\”转义符，把原本的意义（马甲）去掉，比如“\{1,3\}”把“{ 和 }”符号默认的意义转变成其它意义。
# "([0-9]{1,3}\.){3}[0-9]" 表示匹配包含3个 ([0-9]{1,3}\.) 字符串的行，并且后面匹配有[0-9]中的数字。
12、显示包含ed或者at字符的内容行：
[[email protected] test]# cat test.txt |grep -E "peida|com" peida.cnblogs.com [[email protected] test]# cat test.txt |egrep "ed|at" redhat Redhat [[email protected] test]#
#使用-E匹配（过滤）出多个字符串，用“|”符号隔开字符串。
#‘egrep’即‘grep -E’。‘fgrep’即‘grep -F’。使用egrep等于使用grep -E。
13、显示当前目录下面以.txt 结尾的文件中的所有包含每个字符串至少有7个连续小写字符的字符串的行：
[[email protected] test]# grep ‘[a-z]\{7\}‘ *.txt test.txt:hnlinux test.txt:peida.cnblogs.com test.txt:linuxmint [[email protected] test]#
#重复匹配所有小写字母7次的行。默认是区分大小写的，所以用小写字母匹配就不会匹配到大写。-i可以解除区分大小写的限制。
14、上下文控制Context control参数选项的使用：
[[email protected] ~]# seq 100 >test.txt [[email protected] ~]# grep "20" -A 3 test.txt 20 21 22 23 [[email protected] ~]# grep "20" -B 3 test.txt 17 18 19 20 [[email protected] ~]# grep "20" -C 2 test.txt 18 19 20 21 22
Context control上下文控制参数小结：
-B 除了显示匹配的一行之外，并显示该行之前的num行
-A 除了显示匹配的一行之外，并显示该行之后的num行
-C 除了显示匹配的一行之外，并显示该行之前后各num行
使用格式： grep "String" -B 10 test.txt
15、正则表达式案例一：
案例文件内容： [[email protected] oldboy]# cat oldboy.log I am oldboy teacher! I teach linux. I like badminton ball ,billiard ball and chinese chess! my blog is http://oldboy.blog.51cto.com our site is http://www.etiantian.org my qq num is 49000448. not 4900000448. my god ,i am not oldbey,but OLDBOY! ============================================ 实战举例： 1）^word 搜索以word开头的。vi ^一行的开头 2）word$ 搜索以word结尾的。vi $一行的末尾 3）^$ 表示空行，能理解么？ ============================================ a.过滤出来以m开头的行 [[email protected] log]# grep "^m" oldboy.log my blog is http://oldboy.blog.51cto.com my qq num is 49000448. my god ,i am not oldbey,but OLDBOY! b.过滤出来以m结尾的行 [[email protected] log]# grep "m$" oldboy.log my blog is http://oldboy.blog.51cto.com [[email protected] log]# cat -n oldboy.log 1 I am oldboy teacher! 2 I teach linux. 3 4 I like badminton ball ,billiard ball and chinese chess! 5 my blog is http://oldboy.blog.51cto.com 6 our site is http://www.etiantian.org 7 my qq num is 49000448. 8 9 not 4900000448. 10 my god ,i am not oldbey,but OLDBOY!
c.过滤掉空行 [[email protected] log]# grep -v "^$" oldboy.log I am oldboy teacher! I teach linux. I like badminton ball ,billiard ball and chinese chess! my blog is http://oldboy.blog.51cto.com our site is http://www.etiantian.org my qq num is 49000448. not 4900000448. my god ,i am not oldbey,but OLDBOY! [[email protected] log]# grep -vn "^$" oldboy.log #过滤掉空行且显示行号 1:I am oldboy teacher! 2:I teach linux. 4:I like badminton ball ,billiard ball and chinese chess! 5:my blog is http://oldboy.blog.51cto.com 6:our site is http://www.etiantian.org 7:my qq num is 4900044 8. 9:not 4900000448. 10:my god ,i am not oldbey,but OLDBOY!
16、正则表达式案例二：
实战举例： 4）. 代表且只能代表任意一个字符。 5）\ 例 \. 就只代表点本身，转义符号，让有着特殊身份意义的字符，脱掉马甲，还原原形。\$。 6）* 例 s* 重复0个或多个前面的一个字符 7）.* 匹配所有字符。延伸 ^.* 以任意多个字符开头。 .*$ 以任意多个字符结尾 ============================================= a.匹配任意一个字符 [[email protected] log]# grep "." oldboy.log I am oldboy teacher! I teach linux. I like badminton ball ,billiard ball and chinese chess! my blog is http://oldboy.blog.51cto.com our site is http://www.etiantian.org my qq num is 49000448. not 4900000448. my god ,i am not oldbey,but OLDBOY! #没有空行？因为“.”代表任意一个字符，空行没有字符，所以匹配不到。 b.匹配以点为结尾的（错误方法） [[email protected] log]# grep ".$" oldboy.log #系统把“.”识别成了正则表达式的字符 I am oldboy teacher! I teach linux. I like badminton ball ,billiard ball and chinese chess! my blog is http://oldboy.blog.51cto.com our site is http://www.etiantian.org my qq num is 49000448. not 4900000448. my god ,i am not oldbey,but OLDBOY! c.只匹配点， \ 转义。（正确方法） [[email protected] log]# grep "\.$" oldboy.log I teach linux. my qq num is 49000448. not 4900000448. #使用转义符“\”让有着特殊身份意义的字符，脱掉马甲，还原原形。 d.“*”的例子，及-o精确匹配输出。 [[email protected] log]# grep "0*" oldboy.log #使用“*”不会过滤掉原来的内容 I am oldboy teacher! I teach linux. I like badminton ball ,billiard ball and chinese chess! my blog is http://oldboy.blog.51cto.com our site is http://www.etiantian.org my qq num is 49000448. not 4900000448. my god ,i am not oldbey,but OLDBOY! [[email protected] log]# grep -o "0*" oldboy.log 000 00000 ============================================= e.“.*”的匹配。 [[email protected] log]# grep ".*" oldboy.log #匹配所有字符，所以全部都输出了 I am oldboy teacher! I teach linux. I like badminton ball ,billiard ball and chinese chess! my blog is http://oldboy.blog.51cto.com our site is http://www.etiantian.org my qq num is 49000448. not 4900000448. my god ,i am not oldbey,but OLDBOY! [[email protected] log]# grep "^.*" oldboy.log #匹配所有字符任意长度开头 I am oldboy teacher! I teach linux. I like badminton ball ,billiard ball and chinese chess! my blog is http://oldboy.blog.51cto.com our site is http://www.etiantian.org my qq num is 49000448. not 4900000448. my god ,i am not oldbey,but OLDBOY! [[email protected] log]# grep ".*$" oldboy.log #匹配所有字符任意长度结尾 I am oldboy teacher! I teach linux. I like badminton ball ,billiard ball and chinese chess! my blog is http://oldboy.blog.51cto.com our site is http://www.etiantian.org my qq num is 49000448. not 4900000448. my god ,i am not oldbey,but OLDBOY! f.“.”的深入匹配。 [[email protected] ~]# echo ‘oldb y‘ >>oldboy.log [[email protected] ~]# tail -1 oldboy.log oldb y [[email protected] log]# grep "oldb.y" oldboy.log #匹配oldb“任意字符”y I am oldboy teacher! my blog is http://oldboy.blog.51cto.com my god ,i am not oldbey,but OLDBOY! oldb y [[email protected] log]# grep -o "oldb.y" oldboy.log #匹配oldb“任意字符”y oldboy oldboy oldbey oldb y #空格也算是字符，所以oldb y被匹配出来了。注意，但是空行没有字符。
17、正则表达式案例三：
实战举例：
8）[abc] 匹配字符集合内的任意一个字符[a-zA-Z]，[0-9]。
9）[^abc] 匹配不包含^后的任意字符的内容。中括号里的^为取反，注意和以..开头区别。
10）a\{n,m\} 重复n到m次，前一个重复的字符。如果用egrep/sed -r可以去掉转义符。
11）\{n,\} 重复至少n次，前一个重复的字符。如果用egrep/sed -r可以去掉转义符。
12）\{n\} 重复n次，前一个重复的字符。如果用egrep/sed -r可以去掉转义符。
13）\{,m\} ？？？？？？ #“\{,m\}”按照man grep的说明来测试，没成功
注意：egrep，grep -E或sed -r过滤一般特殊字符可以不转义。
=============================================
a.过滤出ifconfig eth0的IP行。
[[email protected] test]# ifconfig eth0|grep "[0-9]\{1,3\}\.[0-9]\{1,3\}\.[0-9]\{1,3\}\.[0-9]\{1,3\}"
inet addr:192.168.120.204 Bcast:192.168.120.255 Mask:255.255.255.0
[[email protected] test]# ifconfig eth0|grep -E "([0-9]{1,3}\.){3}[0-9]"
inet addr:192.168.120.204 Bcast:192.168.120.255 Mask:255.255.255.0
[[email protected] test]##“[0-9]\{1,3\}\.”表示“.”符号前面重复0-9中的数字，至少1个，不多于或等于3个。“\”转义符，把原本的意义（马甲）去掉，比如“\{1,3\}”把“{ 和 }”符号默认的意义转变成其它意义。
# "([0-9]{1,3}\.){3}[0-9]" 表示匹配包含3个 ([0-9]{1,3}\.) 字符串的行，并且后面匹配有[0-9]中的数字
小结：
grep一般常用参数：
“*”星越多表示越重要！五星最重要！
-a：在二进制文件中，以文本文件的方式搜索数据
没加-a前，匹配二进制文件会提示： [[email protected] ~]# grep 1 /bin/cp Binary file /bin/cp matches 加-a后，就可以匹配二进制文件了。但是匹配后会产生乱码，所以这里就不截图了。
#-a的乱码解决方法可以退出重新进入 或者setup然后退出。
-c：计算找到 ’搜索字符串’ 的次数
[[email protected] ~]# ps -ef|grep svn -c 2 [[email protected] ~]# ps -ef|grep -c sshd 6 [[email protected] ~]#
-o：仅显示出匹配regexp的内容
[[email protected] oldboy]# cat oldboy.log I am oldboy teacher! I teach linux. I like badminton ball ,billiard ball and chinese chess! my blog is http://oldboy.blog.51cto.com our site is http://www.etiantian.org my qq num is 49000448. not 4900000448. my god ,i am not oldbey,but OLDBOY! [[email protected] log]# grep -o "0*" oldboy.log 000 00000
-i*****：忽略大小写的不同，所以大小写视为相同*****
[[email protected] log]# grep -i "OLDb.y" oldboy.log I am oldboy teacher! my blog is http://oldboy.blog.51cto.com my god ,i am not oldbey,but OLDBOY! oldb y [[email protected] log]# grep -oi "oLDb.Y" oldboy.log oldboy oldboy oldbey oldb y
-n*****：在行首显示匹配内容行的行号*****
[[email protected] test]# grep -n ‘linux‘ test.txt 1:hnlinux 4:ubuntu linux 7:linuxmint [[email protected] test]#
-v*****：反向选择，即不显示 ‘搜索字符串’ 内容的那一行*****
[[email protected] test]# ps aux | grep ssh | grep -v "grep" root 2720 0.0 0.0 62656 1212 ? Ss Nov02 0:00 /usr/sbin/sshd root 16834 0.0 0.0 88088 3288 ? Ss 19:53 0:00 sshd: [email protected]/0
-E*****：扩展的grep，即egrep*****
[[email protected] test]# cat test.txt |grep -E "peida|com" peida.cnblogs.com [[email protected] test]# cat test.txt |egrep "ed|at" redhat Redhat [[email protected] test]#
--color=auto***：以特定颜色高亮显示匹配关键字（不是整行）***
#提示： -i -v 为常用参数。
Context control上下文控制参数：
使用格式： grep "String" -B 10 test.txt
-A：After的意思，显示匹配字符串及其后n行的数据
[[email protected] ~]# seq 100 >test.txt [[email protected] ~]# grep "20" -A 3 test.txt 20 21 22 23
-B：beforce的意思，显示匹配字符串及其前n行的数据
[[email protected] ~]# grep "20" -B 3 test.txt 17 18 19 20
-C：显示匹配字符串及其前后各num行的数据
[[email protected] ~]# grep "20" -C 2 test.txt 18 19 20 21 22
以上是关于不看绝对后悔的Linux三剑客之grep实战精讲的主要内容，如果未能解决你的问题，请参考以下文章