linux sed 命令

Posted 2020-09-27

命令简介

基本命令格式

sed [常用选项] 命令文本 输入

常用选项

    -n (--quiet, --silent)：安静模式。在 sed 的基本用法中，所有来自标准输出的信息都会被列出到终端上。加上 -n 参数后，则只有被sed 处理的那些行才会被输出。
    -e：指定在指令列模式上执行的命令文本。默认不需要指定，只有同时要执行多个命令文本时才需要显式的指定 -e 选项。
    -f：同时要执行多个命令文本时，可以将这些命令文本写到一个文件中，然后通过 -f filename 的方式使用。
    -r：sed 默认使用基础正则表达式语法(BRE)，指定 -r 选项后使用扩展正则表达式语法(ERE)。
    -i：直接修改读取的文档，而不是输出到终端。

常用命令

    a：新增行， a 的后面接字串，这些字串会被添加到匹配行的下面。
    c：替换行， c 的后面接字串，这些字串会替换掉匹配到的行。
    d：删除行，删除匹配到的行。
    i：插入行， i 的后面接字串，这些字串会被插入到匹配行的上面。
    p：打印，将某些行输出。通常 p 会与参数  -n 一起使用，这样只输出匹配到的行。
    s：字符串替换，主要搭配正则表达式使用。

解释一下本文中 "命令" 与 "命令文本" 的区别：
命令是一些抽象的操作，比如 a 指示新增行，d 指示删除行。
命令文本则是由命令和其它一些信息组合起来的一个字符串，用来执行具体的操作。
比如在第一行下面添加一行，内容为 ‘Hello world‘，命令文本为：‘1a Hello world‘
再如删除包含字符串 ‘Hello world‘ 的行，命令文本为：‘/Hello world/d‘

常用选项及命令详解

说明：本文示例中 demo 文件 test.txt 包含三行文字，内容为：

aa
bb
cc

demo 文件 hello.txt 包含三行文字，内容为：

Hello world! Hello Jack!
Hello China!
Hello Nick!

删除行

删除行需要使用命令 d：

$ sed ‘1d‘ test.txt            # 删除第一行
$ sed ‘$d‘ test.txt            # 删除最后一行
$ sed ‘1,2d‘ test.txt          # 删除第一行到第二行
$ sed ‘2,$d‘ test.txt          # 删除第二行到最后一行

注意，执行完上面的命令，我们只能在命令行终端上看到正确的结果，而 test.txt 文件根本没有发生变化：

选项 -i

如果想要直接在原文件上进行修改(其实是先修改文件的内容，然后保存到原文件中)，需要使用选项 -i：

$ sed -i ‘1d‘ test.txt

注意，应用 -i 选项后命令行上没有输出内容，但是源文件被更新了。

新增行

a 命令可以在匹配的行下面新增行：

$ sed ‘1a Hello world!‘ test.txt                  # 在第一行下面新增一行，内容为 "Hello world!"$ sed ‘$a Hello world!‘ test.txt                  # 在最后一行下面新增一行，内容为 "Hello world!"$ sed ‘1,3a Hello world!‘ test.txt                # 在第一行，第二行和第三行下面分别增加一行，内容  
                                                  # 为 "Hello world!" 1,3 表示从第一行到第三行
$ sed ‘1a Hello world!\nHello China!‘ test.txt    # 一次增加多行需要使用换行符 \n

选项 -e

-e 选项用来指定命令文本，如果只有一个命令文本时 -e 选项可以省略。如何要指定多个命令文本就需要使用 -e 选项。

$ sed -e ‘1a xxx‘ -e ‘2a yyy‘ test.txt

插入行

i 命令可以在匹配的行上面插入行，语法与新增行相同，只是新行在指定行的上面(与 a 命令的区别)：

选项 -f

前面我们通过选项 -e 添加了多个命令文本，但是如果需要添加比较多的命令文本，使用选项 -e 就不太合适了。因为把所有的命令文本全部写在命令行中会导致维护困难。此时选项 -f 就派上用场了。我们可以把多个命令文本写入到文本文件中，然后通过 -f 选项进行引用。
我们创建一个叫 commands 的文件，在里面添加三个命令文本如下：

1i Hello world!
2i Hello world!
3i Hello world!

然后执行命令：

$ sed -f commands test.txt

通过 -f 选项，commands 文件中的三个命令文本都被执行了！

替换行

使用 c 命令可以轻松的进行整行替换：

$ sed ‘1c  Hello world!‘ test.txt         # 把第一行替换为 "Hello world!"$ sed ‘1,3c Hello world!‘ test.txt        # 把第一行到第三行替换为 "Hello world!"

注意，上图中的命令把三行文本替换成了一行文本！

字符串替换

与行替换不同，s 命令只替换匹配到的内容(一般为字符串):

$ sed ‘s/Hello/Hi/‘ hello.txt             # 把Hello 替换为 Hi

上图带给我们的困惑之一是：为什么第一行中只有第一个 Hello 被替换了？答案是 sed 默认只会替换第一个匹配到的内容！那么我们的第二个困惑来了：如果只替换第一个匹配到的内容，那么为什么第二行和第三行的 Hello 都被替换了呢？这个问题涉及的 sed 的工作方式，sed 是一个以行为单位进行文本处理的工具！所以图中的三行是被分为三次，每次一行进行处理的。因而第二行和第三行中的 Hello 对于本行来说都是第一个匹配到的内容，被替换是正确的。
要进行全局替换，需要在命令文本中指定 g，试试下面的命令：

$ sed ‘s/Hello/Hi/g‘ hello.txt             # 把匹配到的所有Hello 都替换为 Hi

这下第一行中的两个 Hello 都被替换了。

我们还可以限制执行替换操作的行：

$ sed ‘2,3s/Hello/Hi/g‘ hello.txt          # 只在第二行和第三行进行替换操作

当然也可以通过替换来删除不需要的字符串：

$ sed ‘s/Hello//g‘ hello.txt               # 删除字符串 Hello

定界符

虽然 / 是最常用的定界符，但是你也可以使用其它的字符。举个简单的例子，当你要在 linux 下进行路径替换时，使用 / 作为定界符是很不爽的(需要很多的转义符)，此时换一个定界符是最好的解决方案：

上图中我们使用分号作为定界符轻松实现了路径替换。

匹配

细心的同学可能已经注意到了，sed 所有的操作都是建立在行定位之上的。也就是说无论你要干什么，都要先找到(匹配)目标行。连最简单的删除行 ‘1d‘，也得先定位到第一行，然后才能删除。所以唯一能限制我们发挥 sed 能力的因素就是：如何匹配到期望的行？

答案是掌握基本的规则，然后多练习！ -n 选项和 p 命令是我们练习的好帮手。-n 选项告诉 sed 只输出那些被处理过的行。比如 sed ‘1a Hello world!‘ test.txt 命令默认会输出四行，应用 -n 后只输出一行：

p 命令则告诉 sed 只输出那些匹配到的行， 比如命令：

$ sed -n ‘1p‘ test.txt 和命令sed -n ‘2,3s/Hello/Hi/gp‘ hello.txt

行匹配的规则大概有两类：通过行号进行匹配和通过正则表达式进行匹配。

下面是一些通过行号进行匹配的例子：

$ sed -n ‘1p‘ test.txt                 # 匹配第一行
$ sed -n ‘$p‘ test.txt                 # 匹配最后一行
$ sed -n ‘2,3p‘ test.txt               # 匹配第二行和第三行
$ sed -n ‘3,$p‘ test.txt               # 匹配第三行和第三行后的每一行

下面是通过正则表达式进行匹配的例子：

$ sed -n ‘/Hello/p‘ hello.txt

默认的匹配是区分大小写的，要忽略大小写可以使用I(大写字母i)

$ sed -n ‘/hello/Ip‘ hello.txt

下面几个是正则表达式匹配后执行操作的例子：

$ sed ‘/Hello/d‘ hello.txt                # 找到匹配的行，并删除
$ sed ‘/Hello/a world!‘ hello.txt         # 找到匹配的行，并在它们下面添加新行
$ sed ‘/Hello/s/world/China/g‘ hello.txt  # 找到匹配的行，在这些行中执行替换