sed 强大的流文本编辑器浅析及示例演示

Posted 2020-09-17

MarkdownPad Document

sed 流(行)编辑器

著有文本处理三剑客之称:grep , sed , awk

sed作为其中之一对于文本处理可谓是异常强大,能够大批量处理文本复杂繁琐的修改,添加,删除等操作,并能够完美的与正则表达式相结合使用.
处理文本时按数据流进行处理,每次读取文本的一行,将其放入缓冲区中称之为模式空间(pattern space),也可类比理解为工作台,然后根据地址定界或是正则表达式进行匹配,如果被匹配则执行其后的命令作出相应处理动作,而后读取下一行处理,不断重复.
值得注意的是sed默认会将读取到模式空间中的行输出到标准输出(一般是屏幕),并将处理完成后的行输出至标准输出.默认对文件本身不处理,仅处理模式空间中被模式匹配的行.

sed 命令使用格式:

sed [option] ‘AddressCommand‘ input-file...
sed  可选项   ‘地址定界命令‘  处理文本(可以是多个文件的列表处理)

option选项:

-n:只显示符合条件的行,静默模式关闭上面提到的默认打印模式空间至标准输出
-i:直接修改源文件(做任何修改操作之前先备份.bak)
-f:从文件读取编辑脚本(符合sed语法的脚本并非bash脚本)
-e:指定多个sed语法脚本,类似grep -e用法多点处理
-r:支持扩展的正则表达式

Address地址定界:

1. startline,endline  从第几行到几行

sed -n ‘1,100p‘ /var/log/yum.log /var/log/messages
   $:最后一行
     sed -n ‘$p‘ /var/log/yum.log
 $-1:最后第二2行
 1,+2d:删除第一行和紧跟其后的后两行(注意删除操作不加-n才可看到效果)
     sed ‘1,+2d‘ /etc/fstab
 ~:步进
     1~2p 从第一行开始,每次跳两行,也即奇数行
     1~2p 偶数行

2. /regexp/ 正则表达式匹配

/^root/

3./patternl/,/pattern2/ 第一次匹配到pattern1的行开始到第一次被pattern2匹配的行为止(注意并不是仅匹配一次,如果处理的文本中存在多个符合条件的组合将处理每个分组)
Command命令(触发动作):

  d:删除匹配的行，没被匹配的反而显示  
  p:显示匹配的行  
  a \string:在匹配到行后面追加显示stringa  
      \n 换行  
  i \string:在匹配到行前面追加显示string  
  c \string :替换,将string覆盖匹配的行  
  r file:将指定文件添加到匹配的行处  
  w file:将匹配到的内容另存至文件中  
  = 匹配的行加行号  
  ! 取反,没有被匹配的行做处理动作

替换和查找:

s/pattern/string/:  将pattern中匹配的字符串替换成string字符串,默认只处理模式空间中第一次被模式匹配的块,可通过其后的修饰符进行调整作用范围

   sed ‘s/fstab/testFSTAB/p‘ /etc/fstab    #将fstab替换为testFSTAB

标记符:

   g:全局          
   i:忽略大小写

s/ / /的形式也可是[email protected] @ @或s# # # 甚至一些其他的字符作为分界,可自行测试
 匹配表达式和要替换的字符串之间可支持后向引用
   s/()/\1/:将第一个匹配的模式括号的内容引用到后面的\1处替换字符串
   &:对string字段引用,pattern中匹配的整个字符串

sed实例演示:

1.地址定界

显示/etc/fstab的9-12行

[root ~]# sed -n ‘9,12p‘ /etc/fstab
/dev/mapper/vg_root-lv_root /                       ext4    defaults        1 1
/dev/mapper/vg_root-lv_app /app                    ext4    defaults        1 2
UUID=9a92c305-beee-467f-9fe4-fd90b2e49743 /boot                   ext4    defaults        1 2
/dev/mapper/vg_root-lv_home /home                   ext4    defaults        1 2

2.步进及删除

查找/etc/fstab中除前7行后的奇数行(多种不同形式达到相同效果)

[root ~]# cat -n  /etc/fstab|sed  -n -e ‘1,7d‘ -e ‘1~2p‘(注两个-e的内容不可反写)
 9  /dev/mapper/vg_root-lv_root /                       ext4    defaults        1 1
11  UUID=9a92c305-beee-467f-9fe4-fd90b2e49743 /boot                   ext4    defaults        1 2
13  tmpfs                   /dev/shm                tmpfs   defaults        0 0
15  sysfs                   /sys                    sysfs   defaults        0 0
等价于:
[root ~]# cat -n  /etc/fstab|sed  -n ‘1,7d;1~2p‘
等价于:
[root ~]# cat -n  /etc/fstab|sed   ‘1,7d‘ | sed -n  ‘1~2p‘

3.a \在匹配的行后添加内容

实现将root用户的命令历史添加执行时间

[root ~]# sed -i ‘$a \export HISTTIMEFORMAT="`date "+%T"`"‘ /root/.bashrc
        #在/root/.bashrc的最后一行添加一条变量

4.正则匹配

关闭第3步的命令历史时间功能

[root ~]# sed -i ‘/.*HISTTIMEFORMAT.*/d‘ /root/.bashrc 
        # 注意-i 会直接修改源文件,事先备份

5.s///查找替换

实现将文本的4,8行加注释#

root ~]# sed -i.bak ‘2,5s/.*/#&/g‘ /etc/fstab
       #注意这里的&是后向引用的用法

6.读入文件并追加

将创建好的hosts文件内容,追加到/etc/hosts文件后
[root ~]# sed ‘$r hosts‘ /etc/hosts

7.匹配的信息另存为,也即写入文件

实现将/var/log/messages中关于网卡信息的分离至eth.log中
[root ~]# sed -n -r   ‘/eth[0-9]?/w eth.log‘ /var/log/messages

8.!取反

实现清除所有的#注释信息行

[root ~]# sed -n ‘/^#/!p‘ /etc/fstab
等价于
[root ~]# sed ‘/^#/d‘ /etc/fstab

本文出自 “老城小叙” 博客，请务必保留此出处http://cityx.blog.51cto.com/9857477/1922794