文本处理三剑客之sed

Posted 2020-07-09

1.sed简介

     sed是非交互式的编辑器。它不会修改源文件，除非使用shell重定向来保存结果。默认情况下，所有的输出行都被打印到屏幕上。sed编辑器逐行处理文件（或输入），并将结果发送到屏幕。具体过程如下：

    首先sed把当前正在处理的行保存在一个临时缓存区中（也称为模式空间），然后处理临时缓冲区中的行，完成后把该行发送到屏幕上。sed每处理完一行就将其从临时缓冲区删除，然后将下一行读入，进行处理和显示。处理完输入文件的最后一行后，sed便结束运行。sed把每一行都存在临时缓冲区中，对这个副本进行编辑，所以不会修改原文件。

2.sed使用方法

sed [OPTION]...  ‘script‘  [input-file] ...

2.1. 常用选项： [OPTION]

       -n：不输出模式空间中的内容至屏幕；

                  -e script, --expression=script：多点编辑；

       -f  /PATH/TO/SED_SCRIPT_FILE    每行一个编辑命令；

       -r, --regexp-extended：支持使用扩展正则表达式；

       -i[SUFFIX], --in-place[=SUFFIX]：直接编辑原文件 ；

                    

  示例 #sed -n /^UUID/p /etc/fstab
     #sed   -n ‘/^UUID/p‘ /etc/fstab    
     # sed  -e  ‘[email protected]^#[[:space:]]*@@‘   -e  ‘/^UUID/d‘  /etc/fstab
       注意加“-n”与不加“-n”两者的区别

2.2.地址定界： script

(1) 空地址：对全文进行处理；

(2) 单地址：

#：指定行；

/pattern/：被此模式所匹配到的每一行；

(3) 地址范围

#,#：

#,+#：

#，/pat1/

/pat1/,/pat2/

$：最后一行；

(4) 步进：~

1~2：所有奇数行

2~2：所有偶数行

2.3.编辑命令：script

        d：删除； sed  

p：显示模式空间中的内容；

a  \text：在行后面追加文本“text”，支持使用\n实现多行追加； 

i  \text：在行前面插入文本“text”，支持使用\n实现多行插入； 

c  \text：把匹配到的行替换为此处指定的文本“text”；

w /PATH/TO/SOMEFILE：保存模式空间匹配到的行至指定的文件中；

r  /PATH/FROM/SOMEFILE：读取指定文件的内容至当前文件被模式匹配到的行后面；文件合并；

=：为模式匹配到的行打印行号；

!：条件取反；

地址定界!编辑命令；

s///：查找替换，其分隔符可自行指定，常用的有[email protected]@@, s###等；

替换标记：

g：全局替换；

w /PATH/TO/SOMEFILE：将替换成功的结果保存至指定文件中；

p：显示替换成功的行

示例：

在/etc/fstab/文件的第三行后追加一行

    # sed ‘3a \new Line‘ /etc/fstab

在/etc/fstab/文件的奇数行前插入一行

    # sed ‘1~2i \new line‘ /etc/fstab

删除/boot/grub/grub2.cfg文件中所有以空白字符开头的行的行首的所有空白字符；提示：可以将空白字符开头的行的行首替换为空白字符

# sed  ‘[email protected]^[[:space:]]\[email protected]@‘ /etc/grub2.cfg

删除/etc/fstab文件中所有以#开头的行的行首的#号及#后面的所有空白字符；提示：可以将空白字符开头的行的行首替换为空白字符

# sed  ‘[email protected]^#[[:space:]]*@@‘  /etc/fstab

输出一个绝对路径给sed命令，取出其目录，其行为类似于dirname；

# echo "/var/log/messages/" | sed ‘[email protected][^/]\+/\[email protected]@‘
# echo "/var/log/messages" | sed -r ‘[email protected][^/]+/[email protected]@‘

2.4.高级编辑命令

h：把模式空间中的内容覆盖至保持空间中；

H：把模式空间中的内容追加至保持空间中；

g：把保持空间中的内容覆盖至模式空间中；

G：把保持空间中的内容追加至模式空间中；

x：把模式空间中的内容与保持空间中的内容互换；

n：覆盖读取匹配到的行的下一行至模式空间中；

N：追加读取匹配到的行的下一行至模式空间中；

d：删除模式空间中的行；

D：删除多行模式空间中的所有行；

示例：

    显示/etc/fstab中的偶数行；

      # cat -n /etc/fstab |sed -n ‘n;p‘

     逆序显示/etc/fstab文件的内容；

     # cat /etc/fstab |sed   ‘1!G;h;$!d‘

    取出/etc/fstab文件中最后一行；

     # cat  -n  /etc/fstab |sed  ‘$!d‘

    取出/etc/fstab文件后两行；

        # sed  ‘$!N;$!D‘ /etc/fstab