sed命令

Posted 2021-01-29 sstjustdoit

sed（Stream EDitor, 行编辑器）命令

@(0001学习博客)

sed也是一种语言，是一种行编辑器。

sed是一种流编辑器，它一次处理一行内容。处理时，把当前处理的行存储在临时缓冲区中，称为“模式空间”（pattern space），接着用sed命令处理缓冲区中的内容，处理完成后，把缓冲区的内容送往屏幕。然后读入下行，执行下一个循环。如果没有使诸如‘D’的特殊命令，那会在两个循环之间清空模式空间，但不会清空保留空间。这样不断重复，直到文件末尾。文件内容并没有改变，除非你使用重定向存储输出。

功能：主要用来自动编辑一个或多个文件,简化对文件的反复操作,编写转换程序等

参考文档：http://www.gnu.org/software/sed/manual/sed.html

1.sed地址命令

sed [option]... 'script' inputfile...
# option:
    -n：不输出模式空间内容到屏幕，即不自动打印。如果不加-n，那么被匹配到的行会显示2次。
    -e: 多点编辑
        sed -n -e '2p'  -e  '6p'  /etc/passwd   表示显示第二行和第6行
    -f：/PATH/SCRIPT_FILE: 从指定文件中读取编辑脚本
    -r: 支持使用扩展正则表达式
    -i.bak: 备份文件并原处编辑，示例如下：
        -i，对文件进行直接编辑
        -i.bak 原文件自动生成一个.bak 的备份文件，同时对原文件修改
        sed  -i.bak '2,5atesti' /data/ff
        sed -i.bak "/alias/aalias cdnet='cd /etc/sysconfig/network-scripts/'"   .bashrc  注意""与''的运用

# script:'地址命令'
# 地址界定：
    不给地址，全对全文进行处理；
    单地址：
        #: 指定的行；$：最后一行；/pattern/：被此处模式所能够匹配到的每一行（使用正则表达式）
    地址范围：
        #,#  
        #,+#
        /pat1/,/pat2/   从第一次匹配到pat1开始到第一次匹配到pat2结束
        #,/pat1/    从第#行开始到匹配到pat1结束
    步进：
        1~2 奇数行，从第一行开始，每次递增2行  
        2~2 偶数行，从第二行开始，每次递增2行

# 编辑命令：
    d: 删除模式空间匹配的行，并立即启用下一轮循环
    p：打印当前模式空间内容，追加到默认输出之后
    a []text：在指定行后新开一行追加文本，示例如下：
        sed '2,5abbb' /data/ff  在第2-5行后添加新行bbb
        sed '/<sst>/asunsongtai' /etc/passwd  在sst这一行后添加sunsongtai
        sed -i.bak "/alias/aalias cdnet='cd /etc/sysconfig/network-scripts/'"   .bashrc  注意""与''的运用
            注意：这些操作并没有真正在文件中修改，一切都是在内存中，要想真正修改要加-i选项
    支持使用
实现多行追加
    i []text：在行前面插入文本
    c []text：替换行为单行或多行文本
    w /path/somefile: 保存模式匹配的行至指定文件
    r /path/somefile：读取指定文件的文本至模式空间中，匹配到的行后
    =: 为模式空间中的行打印行号
    !:模式空间中匹配行取反处理
        sed '2!d' /etc/passwd   表示除了第二行全删除
        sed -n '/root/!p'  /etc/passwd   显示不被匹配带root的行

2.sed工具

s///：查找替换,支持使用其它分隔符，也可以换成[email protected]@@，s###

• 替换标记：
  g: 行内全局替换
  p: 显示替换成功的行
  w /PATH/TO/SOMEFILE：将替换成功的行保存至文件中

# 示例：
sed  's/root/rooter/g'  /etc/passwd  表示文件内全局搜索root并用rooter替换
sed -r 's/(root)/woshi1/g' /etc/passwd  支持扩展正则表达式，全局替换
sed -i.bak -r 's/(root)/woshi1/g'  /etc/passwd   

sed  -r  '/GRUB_CMDLINE_LINUX/s/(quiet)/1 xyz/' /etc/default/grub  或
sed -r 's/(GRUB_CMDLINE_LINUX.*)"$/1 xyz"/' /etc/default/grub

ifconfig ens33| sed -n '2p' | sed  -r -e 's/.*inet //' -e 's/ netmask.*//'  只留下ip地址，或者
ifconfig | sed -n '2p' | sed -r 's/.*inet (.*)netmask.*/1/'   或者
ifconfig | sed -r '2!d;s/.*inet (.*)netmask.*/1/'  

echo /etc/sysconfig/network-scripts/ifcfg-ens33  | sed  -r '[email protected](.*/)([^/].*/?$)@[email protected]'  取路径名
echo /etc/sysconfig/network-scripts/ifcfg-ens33  | sed  -r '[email protected](.*/)([^/].*/?$)@[email protected]'  取基名

3.高级编辑工具

模式空间（pattern space）：当前处理的行所存储的临时缓冲区；
保持空间

P：打印模式空间开端至 内容，并追加到默认输出之前
h: 把模式空间中的内容覆盖至保持空间中
H：把模式空间中的内容追加至保持空间中
g: 从保持空间取出数据覆盖至模式空间
G：从保持空间取出内容追加至模式空间
x: 把模式空间中的内容与保持空间中的内容进行互换
n: 读取匹配到的行的下一行覆盖至模式空间
N：读取匹配到的行的下一行追加至模式空间
d: 删除模式空间中的行
D：如果模式空间包含换行符，则删除直到第一个换行符的模式空间中的文本，并不会读取新的输入行，而使用合成的模式空间重新启动循环。如果模式空间不包含换行符，则会像发出d命令那样启动正常的新循环

示例：
n: 读取匹配到的行的下一行覆盖至模式空间
seq 1 10 | sed -n 'n;p'
2
4
6
8
10

sed -n 'n;p' FILE    # 显示文件的偶数行
sed '1!G;h;$!d' FILE   # 倒叙显示行，类似tac
sed 'N;D' FILE         # 只留最后一行
sed '$!N;$!D' FILE     # 只留最后两行
sed '$!d' FILE
sed ‘G’ FILE
sed ‘g’ FILE
sed ‘/^$/d;G’ FILE
sed 'n;d' FILE
sed -n '1!G;h;$p' FILE

4.练习题

1、删除centos7系统/etc/grub2.cfg文件中所有以空白开头的行行首的空白字符
sed -r ‘s/^[[:space:]]+(.*)/1/g‘ /etc/grub2.cfg

注意：
sed -r ‘s/^[ ]+(.*)/1/g‘ /etc/grub2.cfg 无法筛选出用tab的空格，所以要用[[:space:]]

2、删除/etc/fstab文件中所有以#开头，后面至少跟一个空白字符的行的行首的#和空白字符
sed -r ‘s/(^#[[:space:]]+)(.*)/2/g‘ /etc/fstab

3、在centos6系统/root/install.log每一行行首增加#号
#sed -r ‘s/(.*)/#1/g‘ /root/install.log

4、在/etc/fstab文件中不以#开头的行的行首增加#号
sed -r ‘s/(^[^#].*)/#1/g‘ /etc/fstab

5、处理/etc/fstab路径,使用sed命令取出其目录名和基名

echo /etc/fstab| sed -r ‘[email protected](/.*/)(.*$)@[email protected]‘ 取目录名
echo /etc/fstab| sed -r ‘[email protected](/.*/)(.*$)@[email protected]‘ 取基名

6、利用sed 取出ifconfig命令中本机的IPv4地址
ifconfig | sed -n 2p | sed -r ‘s/(^[[:space:]]+inet )(.*)(netmask.*)/2/‘

7、统计centos安装光盘中Package目录下的所有rpm文件的以.分隔倒数第二个字段的重复次数

sed -r  '[email protected](.*)(..*.rpm$)@[email protected]'  /data/filerpm   | cut -d. -f2 | sort | uniq -c 
ls *.rpm| rev | cut -d. -f2 | rev | sort | uniq -c    
ls /media/CentOS_6.9_Final/Packages/ |  sed -r '[email protected]*.(.*)[email protected][email protected]'  | sort | uniq -c
ls | grep -o "[^.]*.rpm$"  | cut -d. -f1 |sort| uniq -c

8、统计/etc/init.d/functions文件中每个单词的出现次数，并排序（用grep和sed两种方法分别实现）
grep -E -o "<[[:alnum:]]+>" /etc/init.d/functions |sort |uniq -c | sort -nr

9、将文本文件的n和n+1行合并为一行，n为奇数行
seq 1 10 | sed ‘N;s/ / /‘