文本处理三剑客之SED

Posted 2022-06-11

文本处理三剑客之SED

• Sed介绍
• Sed用法
• Sed高级用法

处理文本的工具sed

Steeam EDitor,行编辑器
SED是一种流编辑器，它一次处理一行内容。处理时，把当前处理的行储存在临时缓冲区中，称为"模式空间"(pattern apace),接着用sed命令处理缓冲区中的内容
处理完成后，把缓冲区的内容送往屏幕。然后读入下行，执行下一个循环
如果没有使诸如‘D‘的特殊命令，那会在两个循环之间清空模式空间，但不会清空保留空间。这样不断重复，直到文件末尾。文件内容并没有改变，除非你使用重定向储存输出

功能：主要用来自动编辑一个或多个文件，简化对文件的反复操作，编写转换程序等
参考： http://www.gnu.org/software/sed/manual/sed.html  

sed工具

用法：
    sed[option]...‘script‘ inputfile...
常用选项：
    -n 不输出模式空间内容到屏幕，即不自动打印
    -e 多点编辑
    -f /PATH/SCRIPT_FILE  从指定文件中读取编辑脚本
    -r 支持使用正则表达式
    -i.bak 备份文件并原处编辑
script：
    ‘地址命令‘  (行位置+命令)

地址定界

(1) 不给地址：对全文进行处理
(2) 单地址：
     #：指定的行，$：最后一行
     /pattern/:被此处模式所能够匹配到的每一行
(3) 地址范围：
     #,#
     #，+#
     /pat1/,/pat2/
     #，/pat1/
(4) ~:步进
     1~2奇数行
     2~ 2偶数行 

编辑命令

d    删除模式空间匹配的行，并立即启用下一轮循环
p    打印当前模式空间内容，追加到默认输出之后
a[\]text  在指定行后面追加文本，支持使用\n实现多行追加
i[\]text  在行前面插入文本
c[\]text  替换行为单行或多行文本
w /path/file  保存模式匹配的行至指定文件
r /path/file  读取指定文件的文本至模式空间中匹配到的行后
=      为模式空间中的行打印行号
!      模式空间中匹配行取反处理

ifconfig eth0|sed -n ‘2p‘
取出ifconfig第二行

sed -n ‘/^U/p‘ /etc/fstab
sed -n ‘/^[^#]/p‘ /etc/fstab 其中[]只代表一个字符
取出/etc/fstab中以U开头的行

seq 10 | sed -n ‘3,5p‘ 
显示3到5行

seq 10 | sed -n ‘3,+5p‘ 
显示3行以后再加5行

sed -n ‘/^b/,/^f/p‘ /etc/passwd  
显示文件以b开头到以f开头的行

sed -n ‘/24\/Mat\/2018:11:56:00/,/24\/May\/2018:11:56:30/p‘ accss_log | less
sed -rn ‘/24/Mat/2018:11:56:00/,/24/May/2018:11:56:30/p‘ accss_log |less
检索该时间段的日志

seq 10 | sed -n ‘2~2p‘
输出偶数行

seq 10 | sed ‘2d‘
删除第二行

seq 10 | sed ‘2~2d‘
只输出1 3 5 7 9

sed ‘/^#/d;/^$/d‘ /etc/fstab
处理多行

sed ‘/^# User/a  xxxxxxx‘ ~/.bashrc 
在#User开头的行后追加xxxxxx

sed ‘/^# User/i  xxxxxxx‘ ~/.bashrc 
在#User开头的行前添加xxxxxx

sed ‘/^# User/c  xxxxxxx‘ ~/.bashrc 
在#User开头的行修改为xxxxxx

sed -i ‘/^# User/a  xxxxxxx‘ ~/.bashrc 
在#User开头的行后添加xxxxxx，修改配置文件

sed -i.bak ‘/^# User/a  xxxxxxx‘ ~/.bashrc 
在#User开头的行后添加xxxxxx，修改配置文件,并备份

seq 10 | sed ‘2a\ xxx‘
行后追加   xxxxxx  ,加空格需要‘\‘

seq 10 | sed ‘2a\ xxx\nyyy\nzzz‘
加‘\n‘换行

seq 10 | sed ‘2,6w /data/sed.log‘
将2-6行保存到/data/sed.log

seq 10 | sed ‘2,6r /etc/issue‘
在2到6行后追加/etc/issue文件内容

sed  ‘/root/=‘  /etc/passwd
显示root行的行号

sed -n ‘/^U/!p‘ /etc/fstab
取反

sed工具

s/// 查找替换,支持使用其它分隔符，s@@@，s###
替换标记：
    g   行内全局替换
    p   显示替换成功的行
    w /PATH/FILE   将替换成功的行保存至文件中

sed ‘s/UUID/uuid/‘ /etc/fstab
替换文件内容

ifconfig eth0|sed -n ‘2p‘ |sed ‘s/^.*inet //;s/ netmask.*$//‘
ifconfig eth0|sed -n ‘2s/^.*inet //;s/ netmask.*$//p‘
取出ip

ifconfig eth0|sed -n ‘2p‘ |sed -e ‘s/^.*inet //‘ -e ‘s/ netmask.*$//‘
支持多点编辑 -e 

ifconfig eth0|sed -nr ‘2s/(^[^0-9]+)([0-9.]+)( .*$)/\2/p‘
正则表达式匹配ip

sed -n ‘/#<VirtualHost/,/#<\/VirtualHost/s@#@@p‘ /etc/httpd/conf/httpd.conf
替换该段#号为空

echo /etc/sysconfig/network-scripts/ | sed -r ‘s@(^/.*/)([^/]+)/?$@\2@‘
取基名

sed -ri ‘/^[[:space:]]+linux16/s#(.*)#\1 net.ifnames=0#‘ /boot/grub2/grub.cfg
sed -ri ‘/^[[:space:]]+linux16/s#.*#& net.ifnames=0#‘ /boot/grub2/grub.cfg
修改centos7网卡名称 配置文件

sed -ri ‘/GRUB_CMDLINE_LINUX/s#"$# net.ifnames=0"#‘  /etc/default/grub
sed -ri ‘/GRUB_CMDLINE_LINUX/s#(.*)"$# \1 net.ifnames=0"#‘  /etc/default/grub

ls *.rpm |sed -r ‘s/.*\.(.*)\.rpm$/\1/‘|sort |uniq -c
查看rpm包种类和个数

sed示例

sed ‘2p’ /etc/passwd 
sed -n ‘2p’ /etc/passwd  
sed -n ‘1,4p’ /etc/passwd 
sed -n ‘/root/p’ /etc/passwd 
sed -n ‘2,/root/p’ /etc/passwd  从2行开始 
sed -n ‘/^$/=’ file     显示空行行号 
sed -n -e ‘/^$/p’ -e ‘/^$/=’ file 
Sed‘/root/a\superman’  /etc/passwd 行后 
sed ‘/root/i\superman’ /etc/passwd 行前 
sed ‘/root/c\superman’ /etc/passwd 代替行 

sed ‘/^$/d’ file
sed ‘1,10d’ file
nl /etc/passwd | sed ‘2,5d’
nl /etc/passwd | sed ‘2a tea’
sed ‘s/test/mytest/g‘ example
sed –n ‘s/root/&superman/p’ /etc/passwd 单词后
sed –n ‘s/root/superman&/p’ /etc/passwd 单词前
sed -e ‘s/dog/cat/’ -e ‘s/hi/lo/’ pets
sed –i.bak ‘s/dog/cat/g’ pets

高级编辑命令

P：打印模式空间开端至\n内容，并追加到默认输出之前
h: 把模式空间中的内容覆盖至保持空间中
H：把模式空间中的内容追加至保持空间中
g: 从保持空间取出数据覆盖至模式空间
G：从保持空间取出内容追加至模式空间
x: 把模式空间中的内容与保持空间中的内容进行互换
n: 读取匹配到的行的下一行覆盖至模式空间
N：读取匹配到的行的下一行追加至模式空间
d: 删除模式空间中的行
D：如果模式空间包含换行符，则删除直到第一个换行符的模式空间中的文本，并不会读取新的输入行，
   而使用合成的模式空间重新启动循环。如果模式空间不包含换行符，则会像发出d命令那样启动正常的新循环

sed ‘s/‘‘‘$var‘‘‘/wang/‘ passwd
sed "s//$var/wang/" passwd
sed调用变量

sed示例

sed -n ‘n;p‘ FILE
sed ‘1!G;h;$!d‘ FILE
sed‘N;D’FILE
sed ‘$!N;$!D‘ FILE
sed ‘$!d‘ FILE
sed ‘G’ FILE
sed ‘g’ FILE
sed ‘/^$/d;G’ FILE
sed ‘n;d‘ FILE
sed -n ‘1!G;h;$p‘ FILE