Shell必备十八式之第四式——正则表达式和文本处理器
Posted 28线不知名云架构师
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Shell必备十八式之第四式——正则表达式和文本处理器相关的知识,希望对你有一定的参考价值。
一、正则表达式
1.概念
①正则表达式又称为正规表达式、常规表达式
②使用字符串来描述、匹配一系列符合某个规则的字符串
2.正则表达式的组成
①普通字符:大小写字母、数字、标点符号及一些其他符号
②元字符:在正则表达式中具有特殊意义的专用字符
3.正则表达式层次
①基础正则表达式
②拓展正则表达式
4.Linux中文本处理工具
①grep②egrep③sed④awk
5.常见元字符
【\\】:转义字符,\\!、\\n等
【^】:匹配字符串开始位置,^a、^the、^#等
【$】:匹配字符串结束位置,word$
【.】:匹配除\\n之外的任意一个字符,go.d、g..d
【*】:匹配前面子表达式次或者多次,goo*d、go*d
【list】:匹配list列表中的一个字符,go[ola]d、[abc]、[a-z]、【A-Z0-9】
【^list】:匹配任意不在list列表中的一个字符,[^a-z][^0-9][^A-Z0-9]
【\\{n,m}】:匹配前面的子表达式n到m次,有\\{n\\}、\\{n,\\}、\\{n,m\\}三种格式,go\\{2\\}d、go\\{2,3\\}d、go\\{2,\\}d
6.拓展正则表达元字符
【+】:匹配前面子表达式1次以上,go+d,将至少匹配一个o
[?]:匹配前面子表达式0次或1次,go?d,将匹配gd或god
[()]:将括号中的字符串作为一个整体,例:(xyz)+,将匹配xyz整体1次以上,如xyzz
【|】以或的方式匹配字条串,例good|food,将匹配good或者food,g(oo|la)d,将匹配good活着的glad
二、SED 流编辑器
2.1. sed概述
①文本处理工具,读取文本内容,根据指定的条件进行处理,如删除、替换、提添加等
②再无交互的情况下实现相当复杂的文本处理操作
③被广泛的应用于shell脚本,以完成自动化处理任务
④sed依赖于正则表达式
⑤工作原理
2.2 SED格式
sed + 选项 + `指令` + 文件
-e:指定
-n:只输出
-i:
-f:
替换
删除
特殊用法
2.3 sed应用
vim sed.sh
cat /etc/passwd | head -10 > p.txt
sed -f sed.sh p.txt
sed -i -f sed.sh p.txt //修改源文件
三、awk编辑器
3.1 概念
AwK是一种处理文本文件的语言,是一个强大的文本分析工具。 它是专门为文本处理设计的编程语言,也是行处理软件,通常用于扫描、过滤、统计汇总工作数据可以来自标准输入也可以是管道或文件 20世纪70年代诞生于贝尔实验室,现在centos7用的是gawk 之所以叫 AMK是因为其取了三位创始人Alfred Aho,Peter Meinberger,和 Brian Kernighan 的 Family Name的首字符。
3.2 工作原理
当读到第一行时,匹配条件,然后执行指定动作,再接着读取第二行数据处理,不会默认输出 如果没有定义匹配条件默认是匹配所有数据行,awk隐含循环,条件匹配多少次动作就会执行多少次
3.3 格式
awk关键字+选项+命令部分`{xxxx}`+文件名
内置变量:
- $0:整行
- $1:第一行
- $n:整行
- NF:列
- NR:行
- FS::指定分隔符
- OFS:自定义输出分隔符
- RS:换行符
- ORS:自定义输出换行符
默认第一行以空格和TAB为分割
指定分隔符为“:”使用 -F命令
打印每行有多少列
打印最后一列
友好显示
制表符 \\t
匹配含有daemon的行然后输出最后一列
以上是关于Shell必备十八式之第四式——正则表达式和文本处理器的主要内容,如果未能解决你的问题,请参考以下文章