linux---（6/27）sed命令

Posted 2020-11-20 konglingbin

Tr命令：

tr是简单的单个“字符”处理工具，而sed是功能非常强大的“字符串”处理工具。

 

tr用来从标准输入中通过替换或删除操作进行字符转换。t r主要用于删除文件中控制字符或进行字符转换。使用t r时要转换两个字符串：字符串1用于查询，字符串2用于处理各种转换。
tr刚执行时，字符串1中的字符被映射到字符串2中的字符，然后转换操作开始。

 

tr -c -d -s字符串1 字符串2

 

QUOTE:

不加参数表示替换，字符串2中的每个字符替换字符1中的对应字符。

-d 删除字符串1中所有输入字符。
-s 删除所有重复出现字符序列，只保留第一个；即将重复出现字符串压缩为一个字符串。

-c 用字符串1中字符集的补集替换此字符集，要求字符集为ASCII。

 

 

示例：

1、将文件file中出现的"abc"替换为"xyz"

# cat file | tr "abc" "xyz" > new_file

【注意】这里，凡是在file中出现的"a"字母，都替换成"x"字母，"b"字母替换为"y"字母，"c"字母替换为"z"字母。而不是将字符串"abc"替换为字符串"xyz"。

 

2、使用tr命令“统一”字母大小写

（小写 --> 大写）

# cat file | tr [a-z] [A-Z] > new_file

（大写 --> 小写）

# cat file | tr [A-Z] [a-z] > new_file

 

3、把文件中的数字0-9替换为a-j

# cat file | tr [0-9] [a-j] > new_file

 

4、删除文件file中出现的"Snail"字符

# cat file | tr -d "Snail" > new_file

【注意】这里，凡是在file文件中出现的\'S\',\'n\',\'a\',\'i\',\'l\'字符都会被删除！而不是紧紧删除出现的"Snail”字符串。

 

5、删除文件file中出现的换行\'\\n\'、制表\'\\t\'字符

# cat file | tr -d "\\n\\t" > new_file

不可见字符都得用转义字符来表示的，这个都是统一的。

 

6、删除“连续着的”重复字母，只保留第一个

# cat file | tr -s [a-zA-Z] > new_file

 

7、删除空行

# cat file | tr -s "\\n" > new_file

sed 是一种新型的，非交互式的编辑器。它能执行与编辑器 vi 和 ex 相同的编辑任务。sed 编辑器没有提供交互式使用方式，使用者只能在命令行输入编辑命令、指定文件名，然后在屏幕上查看输出。 sed 编辑器没有破坏性，它不会修改文件，除非使用 shell 重定向来保存输出结果。默认情况下，所有的输出行都被打印到屏幕上。

sed 工作过程

sed 编辑器逐行处理文件（或输入），并将输出结果发送到屏幕。 sed 的命令就是在 vi和 ed/ex 编辑器中见到的那些。 sed 把当前正在处理的行保存在一个临时缓存区中，这个缓存区称为模式空间或临时缓冲。sed 处理完模式空间中的行后（即在该行上执行 sed 命令后），就把改行发送到屏幕上（除非之前有命令删除这一行或取消打印操作）。 sed 每处理完输入文件的最后一行后， sed 便结束运行。 sed 把每一行都存在临时缓存区中，对这个副本进行编辑，所以不会修改或破坏源文件。如图 1： sed 处理过程。 

从上图可以看出 sed 不是破坏性的，它不会修改正在编辑的文件。 

 

Sed 命令格式

1	sed 命令行格式为： sed [选项] ‘ command’ 输入文本

Sed 定位

Sed 命令在没有给定的位置时，默认会处理所有行；
Sed 支持一下几种地址类型：
1、 first~step
这两个单词的意思： first 指起始匹配行， step 指步长，例如： sed -n 2~5p 含义：从第二行开始匹配，隔 5 行匹配一次，即 2,7,12.......。
2、 $
这个$符表示匹配最后一行。
3、 /REGEXP/
这个是表示匹配正则那一行，通过//之间的正则来匹配。
4、 \\cREGEXPc
这个是表示匹配正则那一行，通过\\c 和 c 之间的正则来匹配,c 可以是任一字符
5、 addr1， add2 
定址 addr1， add2 决定用于对哪些行进行编辑。地址的形式可以是数字、正则表达式或二者的结合。如果没有指定地址， sed 将处理输入文件中的所有行。如果定址是一个数字，则这个数字代表行号，如果是逗号分隔的两个行号，那么需要处理的定址就是两行之间的范围（包括两行在内）。范围可以是数字，正则或二者组合。

6、 addr1， +N

从 addr1 这行到往下 N 行匹配，总共匹配 N+1 行
7、 addr1， ~N
Will match addr1 and the lines following addr1 until the next line whose input line number is a multiple of N.【没有看懂是什么意思】

Sed 的正则表达式

表 1： sed 的正则表达式元字符

元字符	功 能	示 例	示例的匹配对象
^	行首定位符	/^love/	匹配所有以 love 开头的行
$	行尾定位符	/love$/	匹配所有以 love 结尾的行
.	匹配除换行外的单 个字符	/l..e/	匹配包含字符 l、后跟两个任意 字符、再跟字母 e 的行
*	匹配零个或多个前 导字符	/*love/	匹配在零个或多个空格紧跟着 模式 love 的行
[]	匹配指定字符组内 任一字符	/[Ll]ove/	匹配包含 love 和 Love 的行
[^]	匹配不在指定字符 组内任一字符	/[^A-KM-Z]ove/	匹配包含 ove，但 ove 之前的那 个字符不在 A 至 K 或 M 至 Z 间 的行
\\(..\\)	保存已匹配的字符
&	保存查找串以便在 替换串中引用	s/love/**&**/	符号&代表查找串。字符串 love 将替换前后各加了两个**的引 用，即 love 变成**love**
\\<	词首定位符	/\\<love/	匹配包含以 love 开头的单词的 行
\\>	词尾定位符	/love\\>/	匹配包含以 love 结尾的单词的 行
x\\{m\\}	连续 m 个 x	/o\\{5\\}/	分别匹配出现连续 5 个字母 o、 至少 5 个连续的 o、或 5~10 个 连续的 o 的行
x\\{m,\\}	至少 m 个 x	/o\\{5,\\}/
x\\{m,n\\}	至少 m 个 x，但不 超过 n 个 x	/o\\{5,10\\}/

sed的常用选项

表 2.sed 的常用选项

选项	说明
-n	使用安静模式，在一般情况所有的 STDIN 都会输出到屏幕上，加入-n 后只打印 被 sed 特殊处理的行
-e	多重编辑，且命令顺序会影响结果
-f	指定一个 sed 脚本文件到命令行执行，
-r	Sed 使用扩展正则
-i	直接修改文档读取的内容，不在屏幕上输出

Sed 操作命令

sed 操作命令告诉 sed 如何处理由地址指定的各输入行。如果没有指定地址， sed 就会处理输入的所有的行。表 3.sed 命令

命 令	说 明
a\\	在当前行后添加一行或多行
c\\	用新文本修改（替换）当前行中的文本
d	删除行
i\\	在当前行之前插入文本
h	把模式空间里的内容复制到暂存缓存区
H	把模式空间里的内容追加到暂存缓存区
g	取出暂存缓冲区里的内容，将其复制到模式空间，覆盖该处原有内容
G	取出暂存缓冲区里的内容，将其复制到模式空间，追加在原有内容后面
l	列出非打印字符
p	打印行
n	读入下一输入行，并从下一条命令而不是第一条命令开始处理
q	结束或退出 sed
r	从文件中读取输入行
！	对所选行意外的所有行应用命令
s	用一个字符串替换另一个

表 4.替换标志

g	在行内进行全局替换
p	打印行
w	将行写入文件
x	交换暂存缓冲区与模式空间的内容
y	将字符转换为另一字符（不能对正则表达式使用 y 命令）

报错信息和退出信息

遇到语法错误时， sed 会向标准错误输出发送一条相当简单的报错信息。但是，如果 sed判断不出错在何处，它会“断章取义”，给出令人迷惑的报错信息。如果没有语法错误， sed将会返回给 shell 一个退出状态，状态为 0 代表成功，为非 0 整数代表失败。

sed使用实例

下面给出测试文件作为输入文件：

1 2 3 4 5 6 7 8 9 10

[root@Gin scripts]# cat ceshi.txt northwest       NW      Charles Main    3.0     .98     3       34 western         WE      Sharon Gray     5.3     .97     5       23 southwest       SW      Lewis Dalsass   2.7     .8      2       18 southern        SO      Suan Chin       5.1     .95     4       15 southeast       SE      Patricia Hemenway       4.0     .7      4       17 eastern         EA      TB Savage       4.4     .84     5       20 northeast       NE      AM Main Jr.     5.1     .94     3       13 north           NO      Margot Weber    4.5     .89     5       9 central         CT      Ann Stephens    5.7     .94     5       13

打印： p 命令

命令 p 是打印命令，用于显示模式缓存区的内容。默认情况下， sed 把输入行打印在屏幕上，选项-n 用于取消默认打印操纵。当选项-n 和命令 p 同时出现时， sed 可打印选定的内容

案例1：

 

1 2 3 4 5 6 7 8 9 10 11 12 13

[root@Gin scripts]# sed \'/north/p\' ceshi.txt northwest       NW      Charles Main    3.0     .98     3       34 northwest       NW      Charles Main    3.0     .98     3       34 western         WE      Sharon Gray     5.3     .97     5       23 southwest       SW      Lewis Dalsass   2.7     .8      2       18 southern        SO      Suan Chin       5.1     .95     4       15 southeast       SE      Patricia Hemenway       4.0     .7      4       17 eastern         EA      TB Savage       4.4     .84     5       20 northeast       NE      AM Main Jr.     5.1     .94     3       13 northeast       NE      AM Main Jr.     5.1     .94     3       13 north           NO      Margot Weber    4.5     .89     5       9 north           NO      Margot Weber    4.5     .89     5       9 central         CT      Ann Stephens    5.7     .94     5       13

说明：默认情况下， sed 把所有输入行都打印在标准输出上。如果在某一行匹配到 north， sed就把该行另外打印一遍。 

案例2：

1 2 3 4

[root@Gin scripts]# sed -n \'/north/p\' ceshi.txt northwest       NW      Charles Main    3.0     .98     3       34 northeast       NE      AM Main Jr.     5.1     .94     3       13 north           NO      Margot Weber    4.5     .89     5       9

说明：默认情况下， sed 打印当前缓存区中的输入行。命令 p 指示 sed 将再次打印该行。选项-n 取消 sed 取消默认打印操作。选线-n 和命令配合使用，模式缓冲区内的输入行，只被打印一次。如果不指定-n 选项， sed 就会像上例中那样，打印出重复的行。如果指定了-n，则sed 只打印包含模式 north 的行。 

删除： d 命令

命令 d 用于删除输入行。sed 先将输入行从文件复制到模式缓存区，然后对该行执行 sed命令，最后将模式缓存区的内容显示在屏幕上。如果发出的是命令 d，当前模式缓存区的输入行会被删除，不被显示。
案例 3：

1 2 3 4 5 6 7 8 9

[root@Gin scripts]# sed \'3d\' ceshi.txt northwest       NW      Charles Main    3.0     .98     3       34 western         WE      Sharon Gray     5.3     .97     5       23 southern        SO      Suan Chin       5.1     .95     4       15 southeast       SE      Patricia Hemenway       4.0     .7      4       17 eastern         EA      TB Savage       4.4     .84     5       20 northeast       NE      AM Main Jr.     5.1     .94     3       13 north           NO      Margot Weber    4.5     .89     5       9 central         CT      Ann Stephens    5.7     .94     5       13

说明：删除第 3 行。默认情况下，其余的行都被打印到屏幕上。 

案例 4： 

 

1 2 3

[root@Gin scripts]# sed \'3,$d\' ceshi.txt northwest       NW      Charles Main    3.0     .98     3       34 western         WE      Sharon Gray     5.3     .97     5       23

说明：删除从第三行到最后一行内容，剩余各行被打印。地址范围是开始第 3 行，结束最后一行。

案例 5： 

1 2 3 4 5 6 7

[root@Gin scripts]# sed \'/north/d\' ceshi.txt western         WE      Sharon Gray     5.3     .97     5       23 southwest       SW      Lewis Dalsass   2.7     .8      2       18 southern        SO      Suan Chin       5.1     .95     4       15 southeast       SE      Patricia Hemenway       4.0     .7      4       17 eastern         EA      TB Savage       4.4     .84     5       20 central         CT      Ann Stephens    5.7     .94     5       13

说明：所有包含模式 north 的行都被动删除，其余行被打印。 

替换： s 命令

命令 s 是替换命令。替换和取代文件中的文本可以通过 sed 中的 s 来实现， s 后包含在斜杠中的文本是正则表达式，后面跟着的是需要替换的文本。可以通过 g 标志对行进行全局替换
案例 6： 

1 2 3 4 5 6 7 8 9 10

[root@Gin scripts]# sed \'s/west/north/g\' ceshi.txt northnorth      NW      Charles Main    3.0     .98     3       34 northern                WE      Sharon Gray     5.3     .97     5       23 southnorth      SW      Lewis Dalsass   2.7     .8      2       18 southern        SO      Suan Chin       5.1     .95     4       15 southeast       SE      Patricia Hemenway       4.0     .7      4       17 eastern         EA      TB Savage       4.4     .84     5       20 northeast       NE      AM Main Jr.     5.1     .94     3       13 north           NO      Margot Weber    4.5     .89     5       9 central         CT      Ann Stephens    5.7     .94     5       13

说明：s 命令用于替换。命令末端的 g 表示在行内全局替换；也就是说如果每一行里出现多个west，所有的 west 都会被替换为 north。如果没有 g 命令，则只将每一行的第一 west 替换为 north。
案例 7：

1 2	[root@Gin scripts]# sed -n \'s/^west/north/p\' ceshi.txt northern                WE      Sharon Gray     5.3     .97     5       23

说明：s 命令用于替换。选线-n 与命令行末尾的标志 p 结合，告诉 sed 只打印发生替换的那些行；也就是说，如果只有在行首找到 west 并替换成 north 时才会打印此行。
案例 8：

1 2 3 4 5 6 7 8 9 10

[root@Gin scripts]# sed \'s/[0-9][0-9]$/&.5/\' ceshi.txt northwest       NW      Charles Main    3.0     .98     3       34.5 western         WE      Sharon Gray     5.3     .97     5       23.5 southwest       SW      Lewis Dalsass   2.7     .8 以上是关于linux---（6/27）sed命令的主要内容，如果未能解决你的问题，请参考以下文章 linux 特殊符号怎样用sed替换 linux shell sed命令的问题！ linux sed 替换 如何用sed命令替换一行中的某个字符串 sed命令在mac和linux下的区别 关于Linux里的sed命令。