9 处理文本的工具sed

Posted 2021-01-07

sed

行编辑器；
sed是一种流编辑器，它一次处理一行内容。处理时，把当前处理的行存储在临时缓冲区中，称为“模式空间”（pattern space），接着用sed命令处理缓冲区中的
内容，处理完成后，把缓冲区的内容送往屏幕。然后读入下行，执行下一个循环。如果没有使诸如‘D’的特殊命令，那会在两个循环之间清空模式空间，但不会清空保留空间。这样不断重复，直到文件末尾。文件内容并没有改变，除非你使用重定向存储输出。

功能：主要用来自动编辑一个或多个文件,简化对文件的反复操作

sed命令行格式为：

sed [-nefri] ‘command’ 输入文本

常用选项：
-n∶使用安静(silent)模式。在一般 sed 的用法中，所有来自 STDIN的资料一般都会被列出到萤幕上。但如果加上 -n 参数后，则只有经过sed 特殊处理的那一行(或者动作)才会被列出来。
-e∶直接在指令列模式上进行 sed 的动作编辑；
-f∶直接将 sed 的动作写在一个档案内， -f filename 则可以执行 filename 内的sed 动作；
-r∶sed 的动作支援的是延伸型正规表示法的语法。(预设是基础正规表示法语法)
-i∶-i.bak: 备份文件并原处编辑

常用命令：

c ∶取代， c 的后面可以接字串，这些字串可以取代 n1,n2 之间的行！
d ∶删除，因为是删除啊，所以 d 后面通常不接任何咚咚；
i ∶插入， i 的后面可以接字串，而这些字串会在新的一行出现(目前的上一行)；
p ∶列印，亦即将某个选择的资料印出。通常 p 会与参数 sed -n 一起运作～
s ∶取代，可以直接进行取代的工作哩！通常这个 s 的动作可以搭配正规表示法！

sed在文件中查询文本的方式：

1)使用行号，可以是一个简单数字，或是一个行号范围

2)使用正则表达式，扩展正则表达式(必须结合-r选项)

^ 锚点行首的符合条件的内容，用法格式"^pattern"

$ 锚点行首的符合条件的内容，用法格式"pattern$"

^$ 空白行

. 匹配任意单个字符

• 匹配紧挨在前面的字符任意次(0,1,多次)

• 匹配任意长度的任意字符

？ 匹配紧挨在前面的字符0次或1次

{m,n} 匹配其前面的字符至少m次，至多n次

{m,} 匹配其前面的字符至少m次

{m} 匹配前面的m次

{0,n} 匹配前面的0到n次

< 锚点词首----相当于 ，用法格式：

> 锚点词尾，用法格式:>pattern

<pattern> 单词锚点

分组，用法格式：(xy)*ab，引用1,2

[] 匹配指定范围内的任意单个字符
[^] 匹配指定范围外的任意单个字符

[:digit:] 所有数字, 相当于0-9， [0-9]---> [[:digit:]]

[:lower:] 所有的小写字母

[:upper:] 所有的大写字母

[:alpha:] 所有的字母

[:alnum:] 相当于0-9a-zA-Z

[:space:] 空白字符

[:punct:] 所有标点符号

3)sed的编辑命令(sed scripts)：

d：删除模式空间匹配的行，并立即启用下一轮循环
如：seq 11 |sed ‘2~2d‘(打印出奇数)

p: 打印当前模式空间的内容，追加到默认输出之后

如：seq 10 |sed -n ‘0~2p‘(1-10的偶数)

a string : 在指定行后面追加文本，支持使用 实现多行追加

如：seq 11 |sed ‘6~2axy‘（6之后每隔2行追加xy）

i xt : 在行前面插入文本

如：sed ‘/root/i superman‘ /etc/passwd 在包含root的行前写入Superman

c xt : 替换单行或多行文本

如：sed ‘/root/c superman‘ /etc/passwd 用Superman替换包含root的行
w /path/to/file : 保存模式匹配的行至指定的文件

如：seq 10|sed ‘5,8w‘ /app/sed.log（将内容指定到文件）

r /path/to/file : 读取指定文件的文本至模式空间中匹配到的行后

如：seq 10|sed ‘5,8r /etc/issue‘ （文件内容指定到5,6,7,8行后）

= ：为模式空间中的行，打印行号

如：sed -n ‘/^$/=‘ file 显示空行行号

！：模式空间中匹配行取反处理

如：sed ‘/bash$/!d‘ /etc/passwd 取出以bash结尾的行

s/// : 查找并替换，支持使用其他分隔符，[email protected]@@,s

替换标记

g ：全局替换

如： sed ‘[email protected]^#@@g‘ /etc/inittab 删除/etc/inittab文件中开头的#号

p ：显示替换成功的行

如：sed –n ‘s/root/&superman/p’ /etc/passwd 在root单词后加上superman

sed –n ‘s/root/superman&/p’ /etc/passwd 在root单词前加上superman

w /path /to/file : 将替换成功的行保存至文件中

sed高级用法

高级用法中新增加了保持空间，

1）选项

P：打印模式空间开端至 内容，并追加到默认输出之前

h: 把模式空间中的内容覆盖至保持空间中

H：把模式空间中的内容追加至保持空间中

g: 从保持空间取出数据覆盖至模式空间

G：从保持空间取出内容追加至模式空间

x: 把模式空间中的内容与保持空间中的内容进行互换

n: 读取匹配到的行的下一行覆盖至模式空间

N：读取匹配到的行的下一行追加至模式空间

d: 删除模式空间中的行

D：如果模式空间包含换行符，则删除直到第一个换行符的模式空间中的文本，并不会读取新的输入行，而使用合成的模式空间重新启动循环。如果模式空间不包含换行符，则会像发出d命令那样启动正常的新循环

sed -n ‘n;p‘ FILE # 打印偶数行

sed ‘1!G;h;$!d‘ FILE # 倒序排列

sed -n ‘1!G;h;$p‘ FILE # 倒序排列

sed ‘N;D‘ FILE # 只保留最后一行

sed ‘$!d‘ FILE # 只保留最后一行

sed ‘$!N;$!D‘ FILE # 只保留最后两行

sed ‘G‘ FILE # 相当于在每行的后面添加空白行

sed ‘g‘ FILE # 全替换成空白行

sed ‘/^$/d;G‘ FILE # 没空行的加空行，有空行的不变。删除空白行

sed ‘n;d‘ FILE # 显示奇数行

line=6;seq 10|sed -n "$line p" #打印出变量值，用双引号

练习实例

1、删除centos7系统/etc/grub2.cfg文件中所有以空白开头的行行首的空白字符

cat /etc/grub2.cfg|sed -r ‘s/^[[:space:]]+//‘

*解释：^[[:space:]]以空白开头的行，-r使用扩展正则，+匹配前面至少1次，将前面的行替换成空白，即删除。*

2、删除/etc/fstab文件中所有以#开头，后面至少跟一个空白字符的行的行首的#和空白字符

cat /etc/fstab|sed ‘s/^#[[:space:]]+//‘

解释：^#[[:space:]]以#开头的空白行，+匹配前面至少1次

3、在centos6系统/root/install.log每一行行首增加#号

sed ‘s/^/#‘ /root/install.log
解释：^行首，替换成#

4、在/etc/fstab文件中不以#开头的行的行首增加#号

sed ‘s/^[^#]/#&/‘ /etc/fstab

解释：^[^#]不以#开头，替换成#&，#&表示在^[^#]前面加#

5、处理/etc/fstab路径,使用sed命令取出其目录名和基名

基名：echo /etc/sysconfig/network-scripts/ |sed -r ‘[email protected]^(/.*/)([^/]+/?)@[email protected]‘

目录名：echo /etc/sysconfig/network-scripts/ |sed -r ‘[email protected]^(/.*/)([^/]+/?)@[email protected]‘

解析：^/./以/开头，[^/]+/?不以/开头，进行分组，1只留下^/./，2只留下[^/]+/?

echo /etc/sysconfig/network-scripts/ |sed -r ‘[email protected](^./)([^/]./?)@1 [email protected]‘

解析：^./以任意字符开头 /结尾，[^/]./?不以/开头，进行分组。

6、利用sed 取出ifconfig命令中本机的IPv4地址
centos6：ifconfig eth2 |sed -n ‘2p‘ |sed ‘s#^.addr:##g‘ |sed ‘s# Bcas.$##g‘

解析：2p打印第2行，-n 关闭自动打印，^.addr:以addr：开头替换成空白， Bcas.$以空白开头以$结束