Shell必备十八式之第四式——正则表达式和文本处理器

Posted 28线不知名云架构师

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Shell必备十八式之第四式——正则表达式和文本处理器相关的知识,希望对你有一定的参考价值。

一、正则表达式

1.概念

①正则表达式又称为正规表达式、常规表达式

②使用字符串来描述、匹配一系列符合某个规则的字符串

2.正则表达式的组成

①普通字符:大小写字母、数字、标点符号及一些其他符号

②元字符:在正则表达式中具有特殊意义的专用字符

3.正则表达式层次

①基础正则表达式

②拓展正则表达式

4.Linux中文本处理工具

①grep②egrep③sed④awk

5.常见元字符

【\\】:转义字符,\\!、\\n等

【^】:匹配字符串开始位置,^a、^the、^#等

【$】:匹配字符串结束位置,word$

【.】:匹配除\\n之外的任意一个字符,go.d、g..d

【*】:匹配前面子表达式次或者多次,goo*d、go*d

【list】:匹配list列表中的一个字符,go[ola]d、[abc]、[a-z]、【A-Z0-9】

【^list】:匹配任意不在list列表中的一个字符,[^a-z][^0-9][^A-Z0-9]

【\\{n,m}】:匹配前面的子表达式n到m次,有\\{n\\}、\\{n,\\}、\\{n,m\\}三种格式,go\\{2\\}d、go\\{2,3\\}d、go\\{2,\\}d

6.拓展正则表达元字符

【+】:匹配前面子表达式1次以上,go+d,将至少匹配一个o

[?]:匹配前面子表达式0次或1次,go?d,将匹配gd或god

[()]:将括号中的字符串作为一个整体,例:(xyz)+,将匹配xyz整体1次以上,如xyzz

【|】以或的方式匹配字条串,例good|food,将匹配good或者food,g(oo|la)d,将匹配good活着的glad

二、SED 流编辑器

2.1. sed概述

①文本处理工具,读取文本内容,根据指定的条件进行处理,如删除、替换、提添加等

②再无交互的情况下实现相当复杂的文本处理操作

③被广泛的应用于shell脚本,以完成自动化处理任务

④sed依赖于正则表达式

⑤工作原理

2.2 SED格式

sed + 选项 + `指令` + 文件

-e:指定

-n:只输出

-i:

-f:

替换

删除

特殊用法

2.3 sed应用

vim sed.sh

cat /etc/passwd | head -10 > p.txt
sed -f sed.sh p.txt
sed -i -f sed.sh p.txt //修改源文件

三、awk编辑器

3.1 概念

 AwK是一种处理文本文件的语言,是一个强大的文本分析工具。 它是专门为文本处理设计的编程语言,也是行处理软件,通常用于扫描、过滤、统计汇总工作数据可以来自标准输入也可以是管道或文件 20世纪70年代诞生于贝尔实验室,现在centos7用的是gawk 之所以叫 AMK是因为其取了三位创始人Alfred Aho,Peter Meinberger,和 Brian Kernighan 的 Family Name的首字符。

3.2 工作原理

当读到第一行时,匹配条件,然后执行指定动作,再接着读取第二行数据处理,不会默认输出 如果没有定义匹配条件默认是匹配所有数据行,awk隐含循环,条件匹配多少次动作就会执行多少次

3.3 格式

awk关键字+选项+命令部分`{xxxx}`+文件名

内置变量:

  • $0:整行
  • $1:第一行
  • $n:整行
  • NF:列
  • NR:行
  • FS::指定分隔符
  • OFS:自定义输出分隔符
  • RS:换行符
  • ORS:自定义输出换行符

默认第一行以空格和TAB为分割

指定分隔符为“:”使用 -F命令

打印每行有多少列

打印最后一列

友好显示

制表符 \\t

匹配含有daemon的行然后输出最后一列

 

 

 

 

以上是关于Shell必备十八式之第四式——正则表达式和文本处理器的主要内容,如果未能解决你的问题,请参考以下文章

Shell脚本必备十八式之第二式条件语句

Shell脚本攻略十八式之第一招——编程规范与变量

文本处理工具和正则表达式SHELL脚本编程

秘籍第四式 rsync+sersync

shell (e)grep正则表达式问题

Linux系列基础版第四章 Shell基础之正则表达式