运维学习之sed文本处理工具

Posted 2020-09-19

linux工具之sed:

   sed：Stream EDitor，流编辑器，以行为单位对一个或多个文件进行编辑处理；每一次sed都会处理给定文件中的一行内容。

在sed处理文本时，将正在处理的当前行存储到临时的缓冲区中，称为“模式空间”；用当前行去匹配给定的PATTERN，如果能匹配，则使用command编辑处理；如果不匹配，则默认输出至标准输出；然后继续处理下一行，直到文件的末尾。

默认情况下，sed的所有处理行为不会影响源文件的内容；

我们一般会使用sed命令来自动编辑一个或多个文件，简化对文件的循环操作；

sed与grep、awk统称为文本处理三剑客：

grep：文本搜索

sed：文本编辑工具

awk：文件格式化工具

sed命令：一般都是位于‘’前方的位置

sed - stream editor for filtering and transforming text

sed [OPTION]... ‘script‘ [input-file]...

 常用选项：

  -n, --quiet, --silent：对于不能匹配模式的行，默认不输出到屏幕；

  -e script, --expression=script：多条件编辑；

       -f script-file, --file=script-file：从指定的script-file中读取脚本

        注意：script-file为一个能够定位到脚本文件的路径，最好为绝对路径

       -i[SUFFIX], --in-place[=SUFFIX]：原文件直接编辑操作；

       -r, --regexp-extended：使sed支持扩展正则表达式；

script为：Addresses+Command

Addresses(地址定界)：

      1.空地址：对所有文件的所有行进行处理；

      2.单地址：sed对于能够匹配该地址的那唯一一行进行处理；

      num：表示行号；

     /pattern/：能够匹配该模式的所有行；

      $：表示文档最后一行

     3.地址范围：

    addr1,addr2：从addr1开始到addr2结束的中间所有行；

  例如：2,8:表示从第二行到第八行

first~step：从first标记的行号开始，以step所代表的数字为步长；

 例如：1~2：表示以第一行为开始，跨过两行，代表从第1行到第3行

addr1,+N：从addr1开始，包括addr1所在行，并继续向后计算N行；

 例如：2,+7相当于2,2+7，表示从第2行到第9行

addr1,~N：从addr1开始，包括addr1所在行，向后计算addr1*N行；

 例如：2,~5相当于2,2*5，表示从第2行到第10行

/pattern1/,/pattern2/：从被pattern1匹配的第一行开始计算，一直到被/pattern2/匹配到的第一行结束；

Command(处理命令)：

=：显示被模式匹配的行的行号

例如：sed -n ‘/^$/=‘ /etc/grub2.cfg

a \text：在被模式匹配的行的后面追加text的内容，支持使用\n换行，从而实现多行追加；

 例：1. 在第一行后面插入字符串this is two line

          sed ‘1a\this is two line‘ in.txt

     i \text：在被模式匹配的行的前面插入text的内容，支持使用\n换行，从而实现多行插入；

 例： 2. 在第二行前面插入字符串this is three line 

          sed ‘2i\this is three line‘ in.txt

c \text：将被模式匹配的行的修改为text的内容，支持使用\n换行，从而实现一行变多行；

 例：将pattern匹配到的行替换成first

    sed ‘/pattern/c\first‘

d：在模式空间中删除被模式匹配的行；这样的行不能再进行标准输出；

 注意：在使用d命令的时候，不宜使用-n选项；

 例：删除in.txt中所有的包含test的行

          sed ‘/test/‘ d in.txt

     p：显示模式空间中被模式匹配的行；

 注意：在使用p命令的时候，通常会搭配-n选项；

 例： 打印第2行到最后一行

          sed -n ‘2,$p‘ in.txt

w filepath：将模式空间中被模式匹配的行，另存到filepath文件中；

 例：sed ‘/pattern/w‘ filepath

r filepath：将filepath文件的内容追加至模式空间中被模式匹配的行之后；

 !Command：在模式空间中被模式匹配的行，不执行Command命令；相反，未被模式匹配的行，参会执行

Command命令

s///：查找替换，分隔符可以任意更换，只要相同即可；

[email protected]@@, s###, s,,,

s/pattern/text/[control]

[email protected]/etc/[email protected]/etc/[email protected]

例：删除某文件中以空白字符后面跟#类的行中的开头的空白字符及#;

[[email protected] ~]# sed -r ‘[email protected]^[[:space:]]+#@@g‘ shiyan1

              i am qinyaodong

              i am 22 years old

              i am a man

              #come on man 

              #you kwon man i loveyou  

     注释：其实这是运用了查找替换命令解决删除操作，就是用空白字符取代模式匹配到的内容，

 其中^[[:space:]]+#：代表以空白字符为首后面加#的匹配内容

pattern：计划查找并替换的内容

     text：要替换的结果

control：如何进行替换

 g：行内全部替换

 p：显示替换成功的行

 w filepath：将替换成功的行另存到filepath文件中；

 支持后向引用：

s/\(string\)/&/

s/\(string\)/\1/

注意：此处的后向引用与grep工具中的分组与引用是一样的。

例： 取出一个文件路径的目录名称;

       [[email protected] ~]# echo "/abc/def/" | sed -r ‘[email protected]^(/.*/)[^/]+/[email protected]\[email protected]‘

        /abc/

    注释：首先，将/abc/def/利用分组分为3部分，然后\1代表取出第一个匹配到的内容

   高级编辑命令：

h: 把模式空间中的内容覆盖至保持空间中

H：把模式空间中的内容追加至保持空间中

g: 从保持空间取出数据覆盖至模式空间

G：从保持空间取出内容追加至模式空间

x: 把模式空间中的内容与保持空间中的内容进行互换

n: 读取匹配到的行的下一行覆盖至模式空间

N：追加匹配到的行的下一行至模式空间

d: 删除模式空间中的行

D：删除多行模式空间中的所有行