shell-正则表达式和文本处理器

Posted 2020-09-06 xuaijun

shell-正则表达式和文本处理器

一：整理正则表达式博客

grep

-n  :显示行号
-o  :只显示匹配的内容
-q  :静默模式，没有任何输出，得用$?来判断执行成功没有，即有没有过滤到想要的内容

-l  ：如果匹配成功，则只将文件名打印出来，失败则不打印，通常-rl一起用，grep -rl ‘root‘ /etc 
-A  :如果匹配成功，则将匹配行及其后n行一起打印出来
-B  :如果匹配成功，则将匹配行及其前n行一起打印出来
-C  :如果匹配成功，则将匹配行及其前后n行一起打印出来
--color
-c  :如果匹配成功，则将匹配到的行数打印出来
-E  :等于egrep，扩展
-i  ：忽略大小写

-v  :取反，不匹配
-w：匹配单词

grep种类
grep
fgrep
pgrep
egrep

正则介绍

^ 行首
$ 行尾
. 除了换行符以外的任意单个字符
* 前导字符的零个或多个
.* 所有字符
[] 字符组内的任一字符
[^] 对字符组内的每个字符取反(不匹配字符组内的每个字符)
^[^] 非字符组内的字符开头的行
[a-z] 小写字母
[A-Z] 大写字母
[a-Z] 小写和大写字母
[0-9] 数字
\< 单词头 单词一般以空格或特殊字符做分隔,连续的字符串被当做单词
\> 单词尾

扩展正则 sed 加 -r 参数 或转义
grep 加 -E 或 egrep 或转义
AWK 直接支持 但不包含{n,m}
可以使用--posix支持
[[email protected] ~]#  awk ‘/ro{1,3}/{print}‘ /etc/passwd
[[email protected] ~]#  awk --posix ‘/ro{1,3}/{print}‘ /etc/passwd

sed -n ‘/roo\?/p‘ /etc/passwd 
sed -rn ‘/roo?/p‘ /etc/passwd
? 前导字符零个或一个
+ 前导字符一个或多个
abc|def abc或def
a(bc|de)f abcf 或 adef
x\{m\} x出现m次
x\{m,\} x出现m次至多次(至少m次)
x\{m,n\} x出现m次至n次

sed 流编辑器 stream editer

语法
sed [options] ‘command‘ in_file[s]
options 部分
-n
-e
-i
-f
command 部分
‘[地址1,地址2] [函数] [参数(标记)]‘

定址的方法 1.数字 2.正则
数字
十进制数
1 单行 
1,3 范围 从第一行到第三行
2,+4 匹配行后若干行
4,~3 从第四行到下一个3的倍数行
2~3 第二行起每间隔三行的行
$ 尾行
1! 除了第一行以外的行
正则
正则必须用//包裹起来
扩展正则需要用 -r 参数或转义

数字定址：sed -n ‘1p‘ /etc/passwd

正则定址：sed -n ‘/^root/p‘ /etc/passwd

正则介绍

^ 行首
$ 行尾
. 除了换行符以外的任意单个字符
* 前导字符的零个或多个
.* 所有字符
[] 字符组内的任一字符
[^] 对字符组内的每个字符取反(不匹配字符组内的每个字符)
^[^] 非字符组内的字符开头的行
[a-z] 小写字母
[A-Z] 大写字母
[a-Z] 小写和大写字母
[0-9] 数字
\< 单词头 单词一般以空格或特殊字符做分隔,连续的字符串被当做单词
\> 单词尾

扩展正则 加 -r 参数 或转义
sed -n ‘/roo\?/p‘ /etc/passwd 
sed -rn ‘/roo?/p‘ /etc/passwd
? 前导字符零个或一个
+ 前导字符一个或多个
abc|def abc或def
a(bc|de)f abcf 或 adef
x\{m\} x出现m次
x\{m,\} x出现m次至多次(至少m次)
x\{m,n\} x出现m次至n次

函数
增删改
a 后插
c 替换
i 前插
d 删除
输入输出
p 打印匹配的行 一般和 -n 参数连用,以屏蔽默认输出
r 从文件中读入
w 写入到文件中
控制流
! 命令取反 例: 1!d 删除第一行以外的行
{} 命令组合 命令用分号分隔 {1h;G} 可以理解为 -e 参数的另一种写法

= 打印行号(输入行的号码,而非处理的次数行号) 例如： sed -n ‘2{=;p}‘ infile
n 读入下一行到模式空间 例:‘4{n;d}‘ 删除第5行
N 而是追加下一行到模式空间，再把当前行和下一行同时应用后面的命令

 替换

s 字符串替换 s/old/new/

$ sed -n ‘s/root/ABCDEF/p‘ /etc/passwd

ABCDEF:x:0:0:root:/root:/bin/bash

operator:x:11:0:operator:/ABCDEF:/sbin/nologin

$ sed -n ‘s/root/ABCDEF/gp‘ /etc/passwd

ABCDEF:x:0:0:ABCDEF:/ABCDEF:/bin/bash

operator:x:11:0:operator:/ABCDEF:/sbin/nologin

$ sed -n ‘s/root/ABCDEF/2p‘ /etc/passwd

root:x:0:0:ABCDEF:/root:/bin/bash

$ sed -n ‘s/root/ABCDEF/3p‘ /etc/passwd

root:x:0:0:root:/ABCDEF:/bin/bash

$ sed -n ‘s/root/ABCDEF/gp‘ /etc/passwd

ABCDEF:x:0:0:ABCDEF:/ABCDEF:/bin/bash

operator:x:11:0:operator:/ABCDEF:/sbin/nologin

$

\(\) 保存被匹配的字符 以备反向引用\N时使用 最多9个标签 标签顺序从左至右
& 替换时使用,在不定义标签时使用(反向引用)

二：grep作业（正则表达式及字符处理）

    目标文件/etc/passwd,使用grep命令或egrep

1．显示出所有含有root的行：

          grep "root" /etc/passwd

 

2．输出任何包含bash的所有行，还要输出紧接着这行的上下各两行的内容：

grep -C 2 "bash" /etc/passwd

    3.  显示出有多少行含有nologin。

[[email protected]_lb yan]# grep -c  "nologin" /etc/passwd

43

4．显示出那些行含有root，并将行号一块输出。

[[email protected]_lb yan]# grep -n "root" /etc/passwd

6．新建用户

         abominable

         abominate

         anomie

         atomize

         编写正则表达式，将他们匹配出来

[[email protected]_lb yan]# egrep ‘^a[a-z]+e‘ passwd

7．建四个用户

         Alex213sb

         Wpq2222b

         yH438PIG

         egon666

         egon

 

         过滤出用户名组成是字母+数字+字母的行

[[email protected]_lb yan]# grep -Eni ‘^[a-Z]+[0-9]+[a-Z]+‘ passwd

53:Alex213sb:x:1005:1005::/home/Alex213sb:/bin/bash

54:Wpq2222b:x:1006:1006::/home/Wpq2222b:/bin/bash

55:yH438PIG:x:1007:1007::/home/yH438PIG:/bin/bash

 

8．显示出/etc目录下所有包含root的文件名

[[email protected]_lb yan]# mkdir /etc/root

[[email protected]_lb yan]# mkdir /etc/1root

[[email protected]_lb yan]# mkdir /etc/root2

[[email protected]_lb yan]# ls /etc/|grep root

[[email protected]_lb yan]# ls /etc/*root*

9. 过滤掉/etc/ssh/sshd_config内所有注释和所有空行

[[email protected]_lb yan]# grep -v "^$" /etc/ssh/sshd_config|grep -v "^#"

三：Sed作业：以/etc/passwd文件为模板

1，删除文件每行的第一个字符。

[[email protected]_lb yan]# sed -r ‘s/^([a-Z0-9-])([a-Z0-9-]+)/\2/g‘ passwd

2，删除文件每行的第二个字符。

[[email protected]_lb yan]# sed -r ‘s/^([a-Z0-9-])([a-Z0-9-])([a-Z0-9-]+)/\1\3/g‘ passwd

3，删除文件每行的最后一个字符。

[[email protected]_lb yan]# sed -r ‘s/([a-Z]+)[a-Z]$/\1/g‘ passwd

4，删除文件每行的倒数第二个字符。

[[email protected]_lb yan]# sed -r ‘s/^(.*)(.)(.)$/\1\3/g‘ passwd

5，删除文件每行的第二个单词。

[[email protected]_lb yan]# sed  -r ‘s/^([a-Z]+)([^a-Z]+)([a-Z]+)([^a-Z]+)/\1\2\4/g‘  passwd

[[email protected]_lb yan]# sed  -r ‘s/^([a-Z0-9-]+)([^a-Z]+)([a-Z]+)([^a-Z]+)/\1\2\4/g‘  passwd

6，删除文件每行的倒数第二个单词。

[[email protected]_lb yan]# sed -r  ‘s/([a-Z]+)([^a-Z]+)([a-Z]+)$/\2\3/g‘ passwd

 7，删除文件每行的最后一个单词。

[[email protected]_lb yan]# sed -r  ‘s/([^a-Z]+)([a-Z]+)$/\1/g‘ passwd

 8，交换每行的第一个字符和第二个字符。

[[email protected]_lb yan]# sed -r  ‘s/(^[a-Z])([a-Z])/\2\1/g‘ passwd

9，交换每行的第一个字符和第二个单词。

[[email protected]_lb yan]# sed -r  ‘s/(^[a-Z])([a-Z0-9-]+)([^a-Z]+)([a-Z]+)/\4\2\3\1/g‘ passwd

 10，交换每行的第一个单词和最后一个单词。

sed -r ‘s/^([a-Z]+)([^a-Z]+)(.*)([^a-Z]+)([a-Z]+)$/\5\2\3\4\1/‘ /etc/passwd

11，删除一个文件中所有的数字。

sed -r ‘s/[0-9]//g‘ /etc/passwd

 12，删除每行开头的所有空格。

sed -r ‘s/^ *//g‘ /etc/passwd

13，用制表符替换文件中出现的所有空格。

sed -r ‘s/ /\t/g‘ /etc/passwd

 14，把所有大写字母用括号（）括起来。

sed -r ‘s/[A-Z]/(&)/g‘ /etc/passwd

 15，打印每行3次。

sed -r ‘s/[A-Z]/(&)/g‘ /etc/passwd

 16，只显示每行的第一个单词。

sed -r ‘s/^([a-Z]+)([^a-Z]+)(.*)/\1/‘ /etc/passwd

 17，打印每行的第一个单词和第三个单词。

sed -r ‘s/^([a-Z]+)([^a-Z]+)([a-Z]+)([^a-Z]+)([a-Z]+)([^a-Z]+)/\5\2\3\4\1\6/‘ /etc/passwd

 18，用命令获取格式为    mm/yy/dd    的日期格式，结合管道，将其换成   mm；yy；dd格式

echo "2012/12/11" |sed -r ‘s/\//:/g‘

echo "2012/12/11" |sed -r ‘s#\/#:#g‘

echo "2012/12/11" |sed -r ‘[email protected]\/@:@g‘