sed详解

Posted 2020-10-17

sed

1、功能说明

Sed是Strem Editor(流编辑器)缩写，是操作、过滤和转换文本内容的强大工具。常用功能有增删改查，过滤，取行。

1. [[email protected] ~]# sed --version  #→ sed软件版本
2. GNU sed version 4.2.1

语法格式

1. sed [options]   [sed-commands]  [input-file]
2. sed [选项]     [sed命令]       [输入文件]

 

参数

-n           #取消默认输出

-r            #使用扩展正则

-i            #刷到磁盘

-e           #执行多条sed指令

-f           #指令放在文件里

 

sed-command

a 追加

i 插入

d 删除

c替换指定的行

s替换每一行匹配到的第一个字符

g 替换每一行的全部

p 输出

w 另存文件

e 执行bash命令

q 不继续往下读取

2、命令执行流程

概括流程：Sed软件从文件或管道中读取一行，处理一行，输出一行；再读取一行，再处理一行，再输出一行……

模式空间:：sed软件内部的一个临时缓存，用于存放读取到的内容。

 

3、使用范例

3.1 统一实验文本

# 创建包含下面内容的文件，后面的操作都会使用这个文件。

[[email protected] ~]# cat person.txt

101,oldboy,CEO

102,zhangyao,CTO

103,Alex,COO

104,yy,CFO

105,feixue,CIO

3.2 增删改查

a 追加文本到指定行后

i 插入文本到指定行前

3.2.1 增

单行增加

[[email protected] ~]# sed ‘2a 106,dandan,CSO‘ person.txt

101,oldboy,CEO

102,zhangyao,CTO

106,dandan,CSO

103,Alex,COO

104,yy,CFO

105,feixue,CIO

 

[[email protected] ~]# sed ‘2i 106,dandan,CSO‘ person.txt

101,oldboy,CEO

106,dandan,CSO

102,zhangyao,CTO

103,Alex,COO

104,yy,CFO

105,feixue,CIO

 

多行增加

[[email protected] ~]# sed ‘2a 106,dandan,CSO\n107,bingbing,CCO‘ person.txt

101,oldboy,CEO

102,zhangyao,CTO

106,dandan,CSO #→第1种写法

107,bingbing,CCO

103,Alex,COO

104,yy,CFO

105,feixue,CIO

企业案例1：优化SSH配置（一键完成增加若干参数）

在我们学习系统优化时，有一个优化点：更改ssh服务远程登录的配置。主要的操作是在ssh的配置文件加入下面5行文本。(下面参数的具体含义见其他课程。)

1. Port 52113
2. PermitRootLogin no
3. PermitEmptyPasswords no
4. UseDNS no
5. GSSAPIAuthentication no

我们可以使用vi命令编辑这个文本，但这样就比较麻烦，现在想一条命令增加5行文本到第13行前？

指定执行的地址范围

sed软件可以对单行或多行进行处理。如果在sed命令前面不指定地址范围，那么默认会匹配所有行。

地址用逗号分隔的，n1,n2可以用数字、正则表达式、或二者的组合表示。

例子：

10{sed-commands}             　　  对第10行操作

10,20{sed-commands}                 对10到20行操作,包括第10,20行

10,+20{sed-commands}    　　　对10到30(10+20)行操作,包括第10,30行

1~2{sed-commands}                    对1,3,5,7,……行操作

10,${sed-commands}             　  对10到最后一行($代表最后一行)操作,包括第10行

/oldboy/{sed-commands}             对匹配oldboy的行操作

/oldboy/,/Alex/{sed-commands}   对匹配oldboy的行到匹配Alex的行操作

/oldboy/,${sed-commands}          对匹配oldboy的行到最后一行操作

/oldboy/,10{sed-commands}        对匹配oldboy的行到第10行操作，注意：如果前10行没有匹配到oldboy，sed软件会显示10行以后的匹配oldboy的行，如果有。

1,/Alex/{sed-commands}              对第1行到匹配Alex的行操作

/oldboy/,+2{sed-commands}        对匹配oldboy的行到其后的2行操作

3.2.2 删

d 删除指定的行

sed ‘d‘ person.txt                        #删除全部

sed ‘2d‘ person.txt                      #删除第二行

sed ‘2,5d‘ person.txt                   #删除2到5行

sed ‘3,$d‘ person.txt                   #删除3到结尾

sed ‘1~2d‘ person.txt                  #删除1,3,5行

sed ‘1,+2d‘ person.txt                 #删除1,2,3

sed ‘/zhangyao/d‘ person.txt       #删除匹配的zhangyao行

sed ‘/oldboy/,/Alex/d‘ person.txt    #删除匹配oldboy到Alex行

sed ‘/oldboy/,3d‘ person.txt           #删除从匹配oldboy的3行

企业案例2：打印文件内容但不包含oldboy

sed ‘/oldboy/d‘ person.txt #    #删除包含"oldboy"的行

3.2.3 改

按行替换

c 用新行取代旧行

sed ‘2c 106,dandan,CSO‘ person.txt      #替换第2行的内容

文本替换

s：单独使用，将每一行中第一处匹配的字符串进行替换

g：每一行进行全部替换

-i：修改文件内容

sed软件替换模型(方框▇被替换成三角▲)

sed -i ‘s/▇/▲/g‘ oldboy.log 

sed -i ‘s#▇#▲#g‘ oldboy.log

观察特点

1. 两边是引号，引号里面的两边分别为s和g，中间是三个一样的字符/或#作为定界符。#能在替换内容包含/有助于区别。定界符可以是任意符号如:或|等，但当替换内容包含定界符时，需转义即: |。经过长期实践，建议大家使用#作为定界符。
2. 定界符/或#，第一个和第二个之间的就是被替换的内容，第二个和第三个之间的就是替换后的内容。
3. s#▇#▲#g，▇能用正则表达式，但▲不能用，必须是具体的。
4. 默认sed软件是对模式空间(内存中的数据)操作，而-i选项会更改磁盘上的文件内容。

企业案例3：指定行修改配置文件

指定行精确修改配置文件，这样可以防止修改多了地方。

[[email protected] ~]# sed ‘3s#0#9#‘ person.txt

101,oldboy,CEO

102,zhangyao,CTO

193,Alex,COO

104,yy,CFO

105,feixue,CIO

变量替换

[[email protected] ~]# cat test.txt #→再新建一个文本

a

b

a

[[email protected] ~]# x=a

[[email protected] ~]# y=b

[[email protected] ~]# echo $x $y

a b

[[email protected] ~]# sed s#$x#$y#g test.txt

b

b

b

分组替换\( \)和\1的使用说明

sed软件的\( \)的功能可以记住正则表达式的一部分，其中，\1为第一个记住的模式即第一个小括号中的匹配内容，\2第二记住的模式，即第二个小括号中的匹配内容，sed最多可以记住9个。

例：echo I am oldboy teacher.如果想保留这一行的单词oldboy，删除剩下的部分，使用圆括号标记想保留的部分。

[[email protected] ~]# echo I am oldboy teacher. |sed ‘s#^.*am \([a-z].*\) tea.*$#\1#g‘

oldboy

[[email protected] ~]# echo I am oldboy teacher. |sed -r ‘s#^.*am ([a-z].*) tea.*$#\1#g‘

oldboy

[[email protected] ~]# echo I am oldboy teacher. |sed -r ‘s#I (.*) (.*) teacher.#\1\2#g‘

amoldboy

命令说明

思路：用oldboy字符替换I am oldboy teacher.

下面解释用□代替空格

1. ^.*am□ –>这句的意思是以任意字符开头到am□为止，匹配文件中的I am□字符串;
2. \([a-z].*\)□–>这句的外壳就是括号\(\），里面的[a-z]表示匹配26个字母的任何一个，[a-z].*合起来就是匹配任意多个字符，本题来说就是匹配oldboy字符串，由于oldboy字符串是需要保留的,因此用括号括起来匹配，后面通过\1来取oldboy字符串。
3. □tea.*$–>表示以空格tea起始,任意字符结尾，实际就是匹配oldboy字符串后，紧接着的字符串□teacher.;
4. 后面被替换的内容中的\1就是取前面的括号里的内容了，也就是我们要的oldboy字符串。
5. ()是扩展正则表达式的元字符，sed软件默认识别基本正则表达式，想要使用扩展正则需要使用\转义，即\(\）。
6. sed使用-r选项则可以识别扩展正则表达式，此时使用\(\）反而会出错。

企业案例4：系统开机启动项优化

chkconfig --list|grep "3:on"|grep -vE "sshd|crond|network|rsyslog|sysstat"|awk ‘{print $1}‘|sed -r ‘s#^(.*)#chkconfig \1 off#g‘|bash

[[email protected] ~]# chkconfig --list|grep "3:on"

crond           0:off   1:off   2:on    3:on    4:on    5:on    6:off

network         0:off   1:off   2:on    3:on    4:on    5:on    6:off

rsyslog         0:off   1:off   2:on    3:on    4:on    5:on    6:off

sshd            0:off   1:off   2:on    3:on    4:on    5:on    6:off

sysstat         0:off   1:on    2:on    3:on    4:on    5:on    6:off

特殊符号&代表被替换的内容

[[email protected] ~]# sed ‘1,3s#C#--&--#g‘ person.txt #→此处&等于C

101,oldboy,--C--EO      #→将1到3行的C替换为--C--

102,zhangyao,--C--TO

103,yy,--C--OO

104,feixue,CFO

105,dandan,CIO

企业案例5：批量重命名文件

当前目录下有文件如下所示：

[[email protected] test]# ls

stu_102999_1_finished.jpg stu_102999_2_finished.jpg stu_102999_3_finished.jpg stu_102999_4_finished.jpg stu_102999_5_finished.jpg

要求用sed命令重命名，效果为stu_102999_1_finished.jpg==>stu_102999_1.jpg,即删除文件名的_finished

3.2.4 查

p 输出指定内容，但默认会输出2次匹配的结果，因此使用n取消默认输出

按行查询

[[email protected] ~]# sed ‘2p‘ person.txt

101,oldboy,CEO

102,zhangyao,CTO

102,zhangyao,CTO

103,Alex,COO

104,yy,CFO

105,feixue,CIO

 

[[email protected] ~]# sed -n ‘2p‘ person.txt

102,zhangyao,CTO

 

[[email protected] ~]# sed -n ‘2,3p‘ person.txt

102,zhangyao,CTO

103,Alex,COO

说明：取行就用sed，最简单

 

[[email protected] ~]# sed -n ‘1~2p‘ person.txt

101,oldboy,CEO

103,Alex,COO

105,feixue,CIO

 

[[email protected] ~]# sed -n ‘p‘ person.txt

101,oldboy,CEO

102,zhangyao,CTO

103,yy,COO

104,feixue,CFO

105,dandan,CIO

按字符串查询

[[email protected] ~]# sed -n ‘/CTO/p‘ person.txt

102,zhangyao,CTO

 

[[email protected] ~]# sed -n ‘/CTO/,/CFO/p‘ person.txt

102,zhangyao,CTO

103,Alex,COO

104,yy,CFO

混合查询

[[email protected] ~]# sed -n ‘2,/CFO/p‘ person.txt

102,zhangyao,CTO

103,Alex,COO

104,yy,CFO

 

[[email protected] ~]# sed -n ‘/feixue/,2p‘ person.txt

105,feixue,CIO

#→特殊情况，前两行没有匹配到feixue，就向后匹配，如果匹配到feixue就打印此行。

4、其他功能

备份功能

sed -i.bak ‘$a 1111111111‘ xxx.txt

备份xxx.txt文件为xxx.txt.bak，修改源文件，最后一行添加111111111

另存功能

sed ‘s/sb/SB/g w new.txt‘ xxx.txt

把sb替换成SB的整行输出到new.txt中

大小写转换

\L    #全部转换成小写

\l     #单个转换成小写

\U    #全部转换成大写

\u    #单个转换成大写

\E    #需要和\U和\L一起使用，关闭\U和\L的功能

例：sed -r ‘s/(.*),(.*),(.*)/\L\3,\E\1,\U\2/g‘ xxx.txt

执行多条sed指令

sed -e ‘3,$d‘ -e ‘s#10#01#g‘ xxx.txt

sed ‘3,$d; s#10#01#g‘ xxx.txt

打印不可见字符l

sed -n ‘l‘ xxx.txt

abc替换ABC（一一对应）

tr ‘abc‘ ‘ABC‘ xxx.txt

sed ‘y#abc#ABC#‘ xxx.txt

可以操作多个文件

sed ‘y#abc#ABC#‘ xxx.txt 222.txt

模拟其他命令