linux命令总结：sed
Posted
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了linux命令总结：sed相关的知识，希望对你有一定的参考价值。
说明：
sed用于过滤和转换文本的流编辑器
可以采用正则匹配，对文本进行插入删除修改等操作
Sed处理的时候，一次处理一行，每一次把当前处理的存放在临时缓冲区，处理完后输出缓冲区内容到屏幕，然后把下一行读入缓冲区，如此重复，直到处理完最后一行。
用法：
sed [OPTION] ... {script-only-if-no-other-script} [input-file] ...
sed [选项] ... [动作] [文件]
参数：
-n 安静模式，取消默认输出
-e 直接在命令列上进行sed动作编辑
-f 读取脚本文件内sed命令处理文件
-r sed动作支持延伸的正则表达（默认只是基础正则）
-i 直接修改文件内容（实验时慎用系统文件）
-u 从输入文件加载少量的数据并刷新更多的输出缓冲区
--help 显示帮助信息并退出
--version 输出版本信息并退出
命令：
:label 是b和t命令的标签，用来实现跳转处理，名字可以随便取(label)
= 打印当前行号码
a\ 追加，在当前行的下一行追加文本
i\ 插入,在当前行的上一行插入文本
q 退出，与Q一样
b label 分行到标签，如果标签被省略，则分支到脚本的末尾。
t label 如果从上一次做了一个成功的替代，输入行被读取，并且从最后一个t或T命令，然后分支到标签，如果省略则分支到末尾。
T label 如果没有s///从上一次成功替换输入行被读取，并且从最后一个t或T命令，然后分支到标签。如果省略则分支到末尾。
c \ 用所有嵌入的文本替换所选行，换行符前面加反斜杠。
d 删除选择的行
D 删除模版快的第一行
h H 复制或追加模版块的内容到缓冲区
g G 获取内存缓存区的内容，并替换或追加到当前模版块文本
x 交换保留和模式空间的内容
l 以视觉上明确的形式列出当前行
n N 将下一行输入读取或附加到模式空间中
p 打印当前模版块的行
P 打印莫板块的第一行
s/// 替换匹配字符，可以使用正则
w 将当前模式空间写入文件
W 将当前模式空间的第一行写入文件
！ 表示后面的命令对所有没有被选定的行发生作用
# 把注释扩展到下一个换行符以前
sed替换标记：
g 表示行内全面替换
p 表示打印行
w 表示把行写入一个文件
x 表示交换莫板块中的文本和缓冲区中的文本
y 表示把一个字符翻译成另外的字符
\1 子串匹配标记
& 已匹配字符串标记
sed 元字符集 :
^ 匹配行开始
$ 匹配行结束
. 匹配一个非换行符的任意字符
* 匹配0个或多个字符匹配所有模块是一个或多个空格后紧跟sed的行
[] 匹配一个指定范围内的字符
[^] 匹配一个不再指定范围内的字符
\(..\) 匹配子串，保存匹配的字符，如 s/\(love\)able/\1rs loveable被替换成lovers
& 保存搜索字符用来替换其他字符，如s/love/**&**/ love这成**love**
\< 匹配单词的开始，如 /\<love/匹配包含以love开头的单词行
\> 匹配单词的结束，如/love\>/匹配包含以love结尾的单词的行
x\{m\} 重复字符x,m次，如 /0{5\}/匹配包含5个0的行
x\{m,\} 重复字符x,至少m次，如 /0\{5,\}/匹配至少有5个0的行
x\{m,n\} 重复字符x ,至少m次，不多于n次，如 /0\{5,10\}/匹配5~10个0的行
实例：
替换操作 :s命令
替换文本中的字符串
[[email protected] ~]# sed ‘s/aa/99/‘ aa.txt 99 123 345 aa bb cc dd bb ee bb 123 333 444 333 222 bb
-n 选项和p选项一起使用表示只打印发生变化的行
[[email protected] ~]# sed -n ‘s/aa/www.baidu.com/p‘ aa.txt www.baidu.com 123 345 aa bb cc dd bb ee
直接编辑文件选项-i,会匹配文件中每一行匹配的内容
[[email protected] ~]#sed -i ‘s/aa/888/g‘ aa.txt #全面替换标记g [[email protected] ~]# cat aa.txt 888 123 345 888 bb cc dd bb ee bb 123 333 444 333 222 bb
当需要从第N出匹配开始替换时，可以使用/Ng:
[[email protected] ~]# echo ababababababab | sed ‘s/ab/AB/2g‘ abABABABABABAB [[email protected] ~]# echo ababababababab | sed ‘s/ab/AB/3g‘ ababABABABABAB [[email protected] ~]# echo ababababababab | sed ‘s/ab/AB/4g‘ abababABABABAB [[email protected] ~]# echo ababababababab | sed ‘s/ab/AB/5g‘ ababababABABAB
以上命令中/在sed中作为定界符使用，也可以使用任意的定界符，例如使用#号将输出内容转换成大写，其中的U在元字符里是大写大意思，&代表已匹配的字符。
[[email protected] ~]# echo abcd |sed ‘s#[a-z]#\U&#g‘ ABCD
删除操作:d命令
删除空白行 sed ‘/^$/d‘ file 删除文件的第2行 sed ‘2d‘ file 删除文件的第2行到末尾所有行 sed ‘2,$d‘ file 删除文件最后一行 sed ‘$d‘ file11 删除文件中所有开头的test的行 sed ‘/^test/d‘ file
已匹配字符串标记&
正则表达式\w+匹配每一个单词，使用[&]替换它，&对于之前所匹配到的单词
[[email protected] ~]# echo a b c d |sed ‘s/\w\+/[&]/g‘ [a] [b] [c] [d]
&代表前面匹配的内容然后加上后面需要替换的内容：
[[email protected] ~]# echo "202.106.0.20"|sed ‘s/202.106.0.20/&DNS/g‘ 202.106.0.20DNS
子串匹配标记 \1
匹配给定样式的其中一部分，第一个使用\1第二个使用\2，下面是截取IP和mac地址
[[email protected] ~]# ifconfig eth0|sed -n ‘s/^.*addr:\(.*\) .* Mask:\(.*\)$/ip:\1 mac:\2/gp‘ ip:10.0.0.4 mac:255.255.255.0
命令中第一个()内的内容匹配\1，第二个()内大内容匹配\2，依此类推
例如:[a-z]+代表任意字符后面的+是多个的意思，此处使用-r选项使用延伸的正则表达式，就不需要对特殊字符转义了。
[[email protected] ~]# echo "aaa BBB"|sed -r ‘s/([a-z]+) ([A-Z]+)/\2 \1/‘ BBB aaa
引用
sed表达式可以使用单引号来引用，但是如果表达式内部包含变量字符串，就需要使用双引号
[[email protected] ~]# aa=mysql;echo "this is sqlserver"|sed ‘s/sqlserver/$aa/‘ this is $aa [[email protected] ~]# aa=mysql;echo "this is sqlserver"|sed "s/sqlserver/$aa/" this is mysql
选定行的范围: ,逗号
所有在模板bbb和ddd所确定的范围内的行都被打印
[[email protected] ~]# echo -e "aaa\nbbb\nccc\nddd"|sed -n ‘/bbb/,/ddd/p‘ bbb ccc ddd
打印从第2行开始到第一个包含以ccc开始的行之间的所有行包括ccc：
[[email protected] ~]# echo -e "aaa\nbbb\nccc\nddd"|sed -n ‘2,/^ccc/p‘ bbb ccc
对于aaa和ccc之间的行，每行的末尾追加www.com
[[email protected] ~]# echo -e "aaa\nbbb\nccc\nddd"|sed ‘/aaa/,/ccc/s/$/www.com/‘ aaawww.com bbbwww.com cccwww.com ddd
多点编辑：e 命令
[[email protected] ~]# echo -e "aaa\nbbb\nccc\nddd\neee"|sed -e ‘1,3d‘ -e ‘s/eee/www/‘ ddd www
上面sed表达式的第一条命令删除1至3行，第二条命令用eee替换www,命令的执行顺序对结果有影响，如果两个 命令都是替换命令，那么第一个命令将 影响第二个替换命令的结果
和-e等价的命令是–expression
[[email protected] ~]# echo -e "aaa\nbbb\nccc\nddd\neee"|sed --expression ‘s/aaa/MMM/‘ --expression ‘s/eee/www/‘ MMM bbb ccc ddd www
从文件读入: r命令
file里面的内容被读进来，显示在与aaa匹配的行后面，如果匹配多行，则file的内容将显示在所有匹配行的后面sed ‘/aaa/r filename
[[email protected] ~]# echo -e "aaa\nbbb\naaa\nddd\neee"|sed ‘/aaa/r aa.txt‘ aaa www.org blog.com bbb aaa www.org blog.com ddd eee
从文件写入：w命令
将匹配的行写入到文件内，注意会覆盖原文件内容
[[email protected] ~]# echo -e "aaa\nbbb\naaa\nddd\neee"|sed -n ‘/aaa/w aa.txt‘ [[email protected] ~]# cat aa.txt aaa aaa
追加: a\ 命令
将www.gun.org追加到以aaa开头的行后面
[[email protected] ~]# echo -e "aaa\nbbb\naaa\nddd\neee"|sed ‘/^aaa/a\www.gun.org‘ aaa www.gun.org bbb aaa www.gun.org ddd eee
在文件第2行之后追加www,centos.org
[[email protected] ~]# sed -i ‘2a\www.centos.org‘ aa.txt [[email protected] ~]# cat aa.txt aaa aaa www.centos.org
插入： i\ 命令
在匹配的行前面插入内容
[[email protected] ~]# echo -e "aaa\nbbb\naaa\nddd\neee"|sed ‘/^aaa/i\www.gun.org‘ www.gun.org aaa bbb www.gun.org aaa ddd eee
下一个 n/N 命令
:label将存储一个标签位置，使用N追加下一行文本到此空间，此处就有了两行文本（aa$bb）,然后使用s/\n//p替换功能替换换行符(\n)，输出aabb，b将跳转标签位为bb后，赋值给label。然后逐行执行语句到行尾。
[[email protected] ~]# cat a.txt aa bb cc [[email protected] ~]# sed ‘:label;N;s/\n//p;b label‘ a.txt aabb aabbcc aabbcc
变形： y命令
把1~10行内所有abcde转变为大写，注意，正则表达式元字符不能使用这个命令
[[email protected] ~]# echo -e "aaa\nbbb\naaa\nddd\neee"|sed ‘1,4y/abcde/ABCDE/‘ AAA BBB AAA DDD eee
退出 q命令
打印完第10行后，退出sed
sed ‘10q‘ file
打印奇数行或偶数行
方法1，使用n命令下一行打印
打印奇数行： [[email protected] ~]# echo -e "aaa\nbbb\naaa\nddd\neee"|sed -n ‘p;n‘ aaa aaa eee 打印偶数行： [[email protected] ~]# echo -e "aaa\nbbb\naaa\nddd\neee"|sed -n ‘n;p‘ bbb ddd
方法2，指定从第几行开始打印，后面数字指定间隔几行打印
[[email protected] ~]# echo -e "aaa\nbbb\naaa\nddd\neee"|sed -n ‘1~2p‘ aaa aaa eee [[email protected] ~]# echo -e "aaa\nbbb\naaa\nddd\neee"|sed -n ‘2~2p‘ bbb ddd
打印匹配字符串的下一行
[[email protected] ~]# echo -e "aaa\nbbb\naaa\nddd\neee"|sed -n ‘/ddd/{n;p}‘ eee
使用b做跳转，当判断字符为aaa时b就跳转到x，此处的:x为定义的标签，标签后为执行的动作。匹配字符aa就跳转到x执行动作，在aa后面添加制表符和YES，如果不为aa就不跳转直接执行后面的s/$/\tYES/，在后面添加制表符和YES。
[[email protected] ~]# echo -e "aaa\nbbb\naaa\nddd\neee"|sed ‘/^aaa/bx;s/$/\tNO/;b;:x;s/$/\tYES/‘ aaaYES bbbNO aaaYES dddNO eeeNO 使用t做跳转时，如果有一次成功的替换则读入最后一个T或t命令，此处还是不太明白，有懂的大神希望留言告知。 [[email protected] ~]# echo -e "aaa\nbbb\naaa\nddd\neee"|sed ‘/^aaa/tx;s/$/\tNO/;t;:x;s/$/\tYES/‘ aaaNO bbbNO aaaNO dddNO eeeNO 使用T做跳转时，如果有一次成功的替换则读入最后一个T或t命令，使用取反跳转，此处还是不太明白，有懂的大神希望留言告知。 [[email protected] ~]# echo -e "aaa\nbbb\naaa\nddd\neee"|sed ‘/^aaa/Tx;s/$/\tNO/;T;:x;s/$/\tYES/‘ aaaYES bbbNOYES aaaYES dddNOYES eeeNOYES
分析多行日志取IP和mac地址并做统计实例：
grep -wE ‘^lease|hardware‘ $patha/dhcpd.leases|sed ‘:x;N;s/{\n//;b x‘|sed -n "s/;$//gp"|awk ‘BEGIN{print "IP""\t\t""MAC"} {print $2"\t"$5}‘ >$patha/ip_table.txt
cat $patha/ip_table.txt | wc -l > $patha/aa.txt后期补充。。。。
本文出自 “80后小菜鸟” 博客，请务必保留此出处http://zhangxinqi.blog.51cto.com/9668428/1921804
以上是关于linux命令总结：sed的主要内容，如果未能解决你的问题，请参考以下文章