❤️Linux三剑客与管道符正则表达式的使用❤️

Posted 2021-10-09 xingweikun

文章目录

• Linux管道符
• • 命令格式
  • 实战
• 正则表达式
• • 实战
  • • 找出所有的hello单词
    • 找出hello单词后面有world单词
    • 以0开头然后是两个数字然后是一个连字符-，最后是8个数字
    • 匹配以字符h开头的单词
    • 匹配刚好6个字符的单词
    • 匹配一个或更多连接的数字
    • 匹配5-12位的QQ号
• grep
• • 定义
  • 格式
  • 实战
  • • 查找文件内容包含h的行数
    • 查找文件内容不包含h的行数
    • 查找以n开头的行
    • 查找以k结尾的行
• sed
• • 定义
  • 语法
  • 查看帮助
  • 操作
  • • 新增
    • 取代（c）
    • 删除
    • 插入
    • 打印
    • 取代（s）
    • 直接修改文件内容
• awk
• • 定义
  • 命令形式
  • 常用参数
  • 实战
  • • 搜索/etc/passwd/有root关键字的所有行，并显示对应的shell
    • 打印/etc/passwd的第二行信息
    • 使用begin加入标题
    • 自定义分隔符

Linux管道符

命令格式

命令1的正确输出作为命令2的操作对象

[root@web1 Test]#命令1 | 命令2

实战

创建一个文本文件，输入任意内容

[root@web1 Test]# touch test.txt
[root@web1 Test]# vim test.txt 
hello world
how are you?
i am fine,thanks
nice to meet you
good luck

查看在test.txt中包含hello的行

[root@web1 Test]# cat test.txt | grep "hello"
hello world
[root@web1 Test]#

查看在test.txt中包含h的行

[root@web1 Test]# cat test.txt | grep "h"
hello world
how are you?
i am fine,thanks
[root@web1 Test]#

当然，还可以有其他操作，比如

[root@web1 Test]# su xwk
[xwk@web1 Test]$ ping 127.0.0.1|whoami
xwk
[xwk@web1 Test]$ su
密码：
[root@web1 Test]# ping 127.0.0.1|whoami
root
[root@web1 Test]#

正则表达式

常用的元字符
. (点号)	匹配除换行符以外的任意字符
\\w	匹配字母、数字、下划线或汉字
\\s	匹配任意的空白符
\\d	匹配数字
\\b	匹配单词的开始或结束
^	匹配字符串的开始
$	匹配字符串的结束

常用的限定符
*	重复零次或更多次
+	重复一次或更多次
?	重复零次或一次
{n}	重复n次
{n,}	重复n次或更多次
{n,m}	重复n到m次

实战

推荐一个网站，可以在线进行正则表达式测试

https://tool.oschina.net/regex

找出所有的hello单词

\\bhello\\b

找出hello单词后面有world单词

\\bhello\\b.*\\bworld\\b

以0开头然后是两个数字然后是一个连字符-，最后是8个数字

0\\d{2}-\\d{8}

匹配以字符h开头的单词

\\bh\\w*\\b

匹配刚好6个字符的单词

\\b\\w{6}\\b

匹配一个或更多连接的数字

\\d+

匹配5-12位的QQ号

\\d{5,12}

弊端，前后加字母依然可以匹配到，如

改进

^\\d{5,12}$

目前这个匹配只能输入一条，输入多条就会连正确的也匹配不到，不知道为什么

grep

定义

根据用户指定的模式对目标文本进行过滤，显示被匹配到的行。

格式

grep [OPTIONS] PATTERN [FILE]

符号	说明
-v	显示不被pattern匹配到的行
-i	忽略字符大小写
-n	显示匹配的行号
-c	统计匹配的字数
-o	仅显示匹配到的字符串
-E	使用ERE,相当于egrep

实战

查找文件内容包含h的行数

[root@web1 Test]# grep -n h test.txt 
1:hello world
2:how are you?
3:i am fine,thanks
[root@web1 Test]#

查找文件内容不包含h的行数

[root@web1 Test]# grep -nv h test.txt 
4:nice to meet you
5:good luck
[root@web1 Test]#

查找以n开头的行

[root@web1 Test]# grep -n ^n test.txt 
4:nice to meet you
[root@web1 Test]#

查找以k结尾的行

[root@web1 Test]# grep -n k$ test.txt 
5:good luck
[root@web1 Test]# 

sed

定义

sed是流编辑器，一次处理一行内容

语法

sed [-hnV][-e<script>][-f<script文件>][文本文件]

符号	说明
a	新增
c	取代（c的后面可以接字串，这些字串可以取代n1,n2之间的行）
d	删除
i	插入
p	打印
s	取代（直接进行取代工作）

查看帮助

man sed 或 sed -h

操作

以下操作仅返回改变结果，不直接更改原文件里的内容，除非vim编辑，否则test.txt内容不变。

新增

在第4行的下一行（第5行）新增add_to_4

[root@web1 Test]# sed -e '4 a add_to_4' test.txt 
hello world
how are you?
i am fine,thanks
nice to meet you
add_to_4
good luck
[root@web1 Test]#

取代（c）

将原本的1-3行内容用hi取代

[root@web1 Test]# sed -e '1,3c hi' test.txt 
hi
nice to meet you
good luck
[root@web1 Test]#

删除

删除文档1-2行

[root@web1 Test]# sed -e '1,2d' test.txt 
i am fine,thanks
nice to meet you
good luck
[root@web1 Test]#

插入

第二行插入insert_to_2

[root@web1 Test]# sed -e '2i insert_to_2' test.txt 
hello world
insert_to_2
how are you?
i am fine,thanks
nice to meet you
good luck
[root@web1 Test]#

打印

打印存在h的行

[root@web1 Test]# sed -n '/h/p' test.txt 
hello world
how are you?
i am fine,thanks
[root@web1 Test]# 

取代（s）

为了更容易理解，我们重新编辑一下test.txt文本

[root@web1 Test]# cat test.txt 
hello world
hello hello hello
hello
how are you?
i am fine,thanks
nice to meet you
good luck
[root@web1 Test]# 

观察两条命令返回结果的不同之处，加g与不加g有什么区别？

[root@web1 Test]# sed -e 's/hello/hi/' test.txt 
hi world
hi hello hello
hi
how are you?
i am fine,thanks
nice to meet you
good luck
[root@web1 Test]# sed -e 's/hello/hi/g' test.txt 
hi world
hi hi hi
hi
how are you?
i am fine,thanks
nice to meet you
good luck
[root@web1 Test]#

下面改变文件内容

直接修改文件内容

修改前文件内容

[root@web1 Test]# cat test.txt 
hello world
hello hello hello
hello
how are you?
i am fine,thanks
nice to meet you
good luck
[root@web1 Test]#

文件修改后

[root@web1 Test]# sed -i 's/hello/hi/g' test.txt
[root@web1 Test]# cat test.txt 
hi world
hi hi hi
hi
how are you?
i am fine,thanks
nice to meet you
good luck
[root@web1 Test]#

awk

定义

把文件逐行的读入，以空格为默认分隔符将每行切片，切开的部分再进行后续处理。

命令形式

awk 'pattern+action'[FILE]

常用参数

参数	说明
FILENAME awk	浏览的文件名
BEGIN	处理文本之前要执行的操作
END	处理文本之后要执行的操作
FS	设置输入域分隔符，等价于命令行-F选项
NF	浏览记录的域的个数（列数）
NR	已读的记录数（行数）
OFS	输出域分隔符
ORS	输出记录分隔符
RS	控制记录分隔符
$0	整条记录
$1	表示当前行的第一个域，以此类推

实战

搜索/etc/passwd/有root关键字的所有行，并显示对应的shell

[root@web1 Test]# awk -F: '/root/{print $7}' /etc/passwd
/bin/bash
/sbin/nologin
/sbin/nologin
[root@web1 Test]# 

打印/etc/passwd的第二行信息

[root@web1 Test]# awk -F: 'NR==2{print $0}' /etc/passwd
bin:x:1:1:bin:/bin:/sbin/nologin
[root@web1 Test]#

使用begin加入标题

[root@web1 Test]# awk -F: 'BEGIN{print "BEGIN BEGIN"} {print $1,$2}' /etc/passwd 

自定义分隔符

[root@web1 Test]# echo "111 222|333 444|555 666"
111 222|333 444|555 666
[root@web1 Test]# echo "111 222|333 444|555 666"|awk 'BEGIN{RS="|"}{print $0}'
111 222
333 444
555 666

[root@web1 Test]# 

呼——终于写完了，熟能生巧，这些命令还是要多练一练。
最好能像回答1+1=2一样，别人问你，你张口就能回答出来（手动滑稽，手动狗头保命）嘿嘿~