Shell脚本 正则表达式 grep sed awk 工具

Posted 2021-01-06

正则表达式定义
正则表达式，又称正规表达式、常规表达式
是使用单个字符串来描述、匹配一系列符合某个句法规则的字符串
·
正则表达式组成
普通字符
大小写字母、数字、标点符号及一些其他符号
元字符
在正则表达式中具有特殊意义的专用字符
·
基础正则表达式示例
查找特定字符
利用中括号[]来查找集合字符
查找行首^与行尾字符$
查找任意一个字符.与重复字符
查找连续字符范围{}
·
基础正则表达式的常见元字符
^、$、.、、、[ ]、[^ ]、[n1-n2]、{n}、{n,}、{n,m}
·
####查找特定字符####
n--表示显示行号
i--表示不区分大小写
v--表示反向选择
·
grep -n ‘the‘ test.txt
grep -in ‘the‘ test.txt
grep -vn ‘the‘ test.txt
·
####利用中括号‘[]‘来查找集合字符
grep -n ‘sh[io]rt‘ test.txt ####找i或者是o的，只去其中一个
grep -n ‘oo‘ test.txt ####查找重复单个字符‘oo‘
grep -n ‘[^w]oo‘ test.txt ####查找‘oo‘前面不是‘w‘的字符串
grep -n ‘[^a-z]oo‘ test.txt ####查找oo前面不带小写字母的
grep -n ‘[0-9]‘ test.txt ####查找包含数字的
·
####查找‘^‘ 与行尾字符‘$‘
grep -n ‘^the‘ test.txt ####查找以the为行首的行
grep -n ‘^[a-z]‘ test.txt ####查找行首行以小写字母开头的
grep -n ‘^[^a-z]‘ test.txt ####查找行首行不以小写字母开头的
grep -n ‘^[A-Z]‘ test.txt ####查找首行以大写字母开头
grep -n ‘^[^a-zA-Z]‘ test.txt ####除了以大小写字符开头
grep -n ‘.$‘ test.txt ####这个点 . 因为是元字符，所以要转义
grep -n ‘^$‘ test.txt ####查找空白行
grep -n ‘ooo‘ test.txt #### 是元字符，但是这边表示重复多个前面的字符。
grep -n ‘w.d‘ test.txt ####查询以W开头 d结尾，中间是任意字符
grep -n ‘[0-9][0-9]‘ test.txt ####2个中括号，代表2位数，后面的*达标任意字符
·
#####查找连续字符范围‘{}‘
grep -n ‘o{3}‘ test.txt ####查找连续3个o
grep -n ‘wo{2,5}d‘ test.txt ####查找以w开头d结尾中间2个到5个o
grep -n ‘wo{2,}d‘ test.txt ####查找以w开头d结尾中间2以上的o
·
#######sed工具########
是一个强大的而简单的文本解析转换工具，可以读取文本、并根据制定指定的条件对文本内容进行编辑。
默认情况下，所有的sed的命令都是在模式空间内执行，因此输入的文件并不会发生任何的变化，除非是用重定向存储输出。
·
sed [选项] ‘操作‘ 参数
常见选项
-e或者--expression= 表示用指定的命令或者脚本来处理输入的文件文件
-f或则--file= 表示用指定的脚本文件来处理输入的文本文件
-h或则--help 显示帮助
-n 、--quite或则silent 表示仅显示处理后的结果
-i 直接编辑文本文件
常见操作
a ####增加，在当前行下面增加一行指定的内容
c ####替换，将选定的行替换为指定内容
d ####删除，删除选定的行
i ####插入，在选定行上面插入一行指定的内容
p ####打印，如果同事指定行，表示打印指定行，如果不指定行，则表示打印所有内容
####如果有非打印字符的，则以ASCII码输出，通常与-n 选项一起使用
s ####替换，替换指定字符
y ####字符转换
·
1.用法示例
sed -n ‘p‘ test.txt ####输出所有的内容
sed -n ‘3p‘ test.txt ####输出第三行
sed -n ‘3,5p‘ test.txt ####输出第三行到第五行
sed -n ‘p;n‘ test.txt ####输出所有奇数行
sed -n ‘n;p‘ test.txt ####输出所有偶数行
sed -n ‘1,5{p;n}‘ test.txt ####输出1-5的所有奇数行
sed -n ‘10,${n;p}‘ test.txt ####输出第10行到末尾所有偶数行
sed -n ‘/the/p‘ test.txt ####输出包含the的行
sed -n ‘4,/the/p‘ test.txt ####输出从第4行至第一个包含the的行
sed -n ‘/the/=‘ test.txt ####输出包含the坐在行的行号
sed -n ‘/^PI/p‘ test.txt #####输出以PI开头的行
sed -n ‘/<wood>/p‘ test.txt #####输出包含单词wood的行，<>代表单词边界
nl test.txt | sed ‘3d‘ #####删除第3行，并不会改变原文件
nl test.txt | sed ‘3,5d‘ #####删除第3行到第5行
nl test.txt | sed ‘/cross/d‘ #####删除包含cross的行
nl test.txt | sed ‘/cross/!d‘ #####删除不包含cross的行,用！表示取反操作
sed ‘/^[a-z]/d‘ test.txt #####删除以小写字符开头的行
sed ‘/.$/d‘ test.txt #####删除某行以.结尾的行
sed ‘/^$/d‘ test.txt #####删除所有空行
·
2.替换符合条件的文本 ---需要用到s字符串替换、c(整行/整行替换)、y（字符转换）
sed ‘s/the/THE/‘ test.txt ####将每行中的第一行的the替换为THE
sed ‘s/l/L/2‘ test.txt ####将每行的第2个l（小写）替换成L（大写）
sed ‘s/the/THE/g‘ test.txt ####将文件中所有的the替换成THE
sed ‘s/o//g‘ test.txt ####将文件中所有的o删除（替换为空串）
sed ‘s/^/#/‘ test.txt ####每行的开头插入一个#
sed ‘/the/s/^/#/‘ test.txt ####在包含the的每行行首插入#
sed ‘s/$/EOF/‘ test.txt ####在每行的行尾插入字符串EOF
sed ‘3,5s/the/THE/g‘ test.txt ####将第3-第5行中的所有the替换成THE
sed ‘/the/s/o/O/g‘ test.txt ####将包含the的所有行中的小o替换成大O
·
3.迁移符合条件的文本 H--复制到剪切板 g G 将剪切板的数据覆盖/追加至指定的行， w保存为文件，r为读取指定文件 a追加指定内容
sed ‘/the/{H;d};$G‘ test.txt ####将包含the的行迁移至文件末尾，；用于多个操作
sed ‘1,5{H;d};17G‘ test.txt #####将第1到第5行的内容迁移到第17行后
sed ‘/the/w out.file‘ test.txt #####将包含the的另存为文件out.file
sed ‘/the/r /etc/hostname‘ test.txt #####将文件/etc/hostname的内容添加到包含the的内行以后
sed ‘3aNew‘ test.txt #####将在第3行后面插入一个新行，内容为New
sed ‘/the/aNew‘ test.txt ###在包含the的每行后面插入一个新行。内容为New
sed ‘3aNew1 New2‘ test.txt #####在第3行后面插入多行内容，中间的内容表示换行
sed -i ‘$aabc123‘ file.txt #####在文件的最后 插入abc123
·
4.使用脚本编辑文件
sed ‘1,5{H;d};17G‘ test.txt ###将第1行到第5行内用移至17，如果没有17行则插不进去
[[email protected] opt]# vi opt.list ###编辑脚本
1,5H
1,5d
17G
[[email protected] opt]# sed -f opt.list test.txt ######用脚本对test.txt进行编辑
·
5.sed直接操作文件示例
[[email protected] opt]# vi /opt/Local_only_ftp.sh ####开启FTP
#!/bin/bash
#指定样本文件路径、配置文件路径
SAMPLE="/usr/share/doc/vsftpd-3.0.2/EXAMPLE/INTERNET_SITE/vsftpd.conf"
CONFIG="/etc/vsftpd/vsftpd.conf"
#备份原来的配置文件，检测文件名为/etc/vsftpd/vsftpd.conf.bak 备份文件是否存在,若不存
在则使用cp命令进行文件备份
[ ! -e "$CONFIG.bak" ] && cp $CONFIG $CONFIG.bak
#基于样本配置进行调整，覆盖现有文件
sed -e ‘/^anonymous_enable/s/YES/NO/g‘ $SAMPLE > $CONFIG
sed -i -e ‘/^local_enable/s/NO/YES/g‘ -e ‘/^write_enable/s/NO/YES/g‘ $CONFIG
grep "listen" $CONFIG || sed -i ‘$alisten=YES‘ $CONFIG 或者 sed -i ‘^listen/ssed -i ‘/^listen/s/NO/YES/g‘ /etc/vsftpd/vsftpd.conf
#启动vsftpd服务器，并设为开机自动运行
systemctl restart vsftpd
systemctl enable vsftpd
####同上####
#!/bin/bash
a="/usr/share/doc/vsftpd-3.0.2/EXAMPLE/INTERNET_SITE/vsftpd.conf"
b="/etc/vsftpd/vsftpd.conf"
[ ! -e "$b.bak" ] && cp $a $b.bak
sed -i ‘/^anonymous_enable/s/YES/NO/g‘ $b
sed -i ‘/^local_enable/s/NO/YES/g‘ $b
sed -i ‘/^write_enable/s/NO/YES/g‘ $b
sed -i ‘/^listen=/s/NO/YES/g‘ $b
systemctl restart vsftpd
systemctl enable vsftpd
·
##########AWK工具#########
1、AWK常见用法
awk 选项 ‘模式或条件{编辑指令}’ 文件1 文件2
awk -f 脚本文件 文件1 文件2
·
sed命令常用于一整行的处理，而AWK比较倾向于一行分成多个“字段”然后进行处理。
通常可以使用逻辑符号操作，“&&”，表示“与” “||”表示“或”，“！”表示“非”，还可以进行简单的运算如
+- * / % ^ 分别表示加、减、乘、除、取余、乘方
·
[[email protected] opt]# awk -F ‘:‘ ‘{print $1,$3,$4}‘ /etc/passwd ###输出/etc/passwd 里面的账户、UID、GID
root 0 0
bin 1 1
daemon 2 2
adm 3 4
.....
·
AWK包含几个特殊的内建变量(可以直接用)
FS----指定每行文本的字段分隔符，默认我空格或则制表位
NF----当前处理的行的字段个数
NR----当前处理的行的行号(序数)
$0----当前处理的行的整行内容
$n----当前处理行的第n个字段(第n列)
FILENAME----被处理的文件名
RS----数据记录分割，默认 ，即每行为一条记录
·
####用法实列####
awk ‘{print}‘ test.txt ####输出所有内容
awk ‘NR==1,NR==3{print}‘ test.txt ####输出第1-3行内容
awk ‘(NR>=1)&&(NR<=3){print}‘ test.txt ####输出第1-3行内容
awk ‘NR==1||NR==3{print}‘ test.txt ####输出第1和第3行内容
awk ‘(NR%2)==1{print}‘ test.txt ####输出所有奇数行的内容
awk ‘(NR%2)==0{print}‘ test.txt ####输出所有偶数行的内容
awk ‘/^root/{print}‘ /etc/passwd ####输出以root开头的行
awk ‘/nologin$/{print}‘ /etc/passwd ####输出以nologin结尾的行
awk ‘BEGIN {x=0} ; //bin/bash$/{x++};END {print x}‘ /etc/passwd #####统计以/bin/bash结尾的行数
awk ‘BEGIN {RS=""};END{print NR}‘ /etc/squid/squid.conf ####统计以空行分隔的段落数
awk ‘{print $3}‘ test.txt #####输出每行中的第三个字段
awk ‘{print $1,$3}‘ test.txt #####输出每行中的第1个和第3个字段
awk -F ":" ‘$2==""{print}‘ /etc/shadow ####输出密码为空的用户
awk -F ":" ‘($7!="/bin/bash")&&($7!="/sbin/nologin"){print}‘ /etc/passwd #####输出第7 个字段即不为/bin/bash 也不为/sbin/nologin的所有行