Sed常用功能个人整理

Posted pycod

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Sed常用功能个人整理相关的知识,希望对你有一定的参考价值。

Sed常用功能个人整理

技术图片
2019.06.24 10:23:41字数 240阅读 15

Sed对1G以下的数据效率很高这里介绍一些个人在工作中遇到的sed问题

  • 1.查找字段

以文章test.txt为例:

ID        type         old  new
A01_1   1_34189552   0|0  0|0
A01_2   1_65117762   1|0  1|0
A01_3   1_70543349   0|0  0|0
A01_4   1_77765794   0|1  0|1
A01_5   1_109674087  0|1  0|1
A01_6   1_194530914  0|0  0|0
A01_7   1_224812701  0|0  0|0
A01_8   2_3645429    1|0  1|0
A01_9   2_21527764   0|0  0|0
A01_10  2_28792335   0|0  0|0
A01_11  2_142074734  0|0  0|0

单个查找,查找字段以p结尾,例如:

sed -n ‘/77765794/p‘ test.txt
>结果:
A01_9672  1_77765794   0|1  0|1
* 若不加n则会输出 查询结果+test.txt文本内容(与-e输出相同):
ID        type         old  new
A01_1   1_34189552   0|0  0|0
A01_2   1_65117762   1|0  1|0
A01_3   1_70543349   0|0  0|0
A01_4   1_77765794   0|1  0|1
A01_4   1_77765794   0|1  0|1#会输出两次
A01_5   1_109674087  0|1  0|1
A01_6   1_194530914  0|0  0|0
A01_7   1_224812701  0|0  0|0
A01_8   2_3645429    1|0  1|0
A01_9   2_21527764   0|0  0|0
A01_10  2_28792335   0|0  0|0
A01_11  2_142074734  0|0  0|0

指定行输出
*sed -n ‘star,end p‘ file 包含star和end行,$表示尾行

sed -n ‘1p‘ test.txt
ID        type         old  new

sed -n ‘1,2p‘ test.txt
ID        type         old  new
A01_1   1_34189552   0|0  0|0

sed -n ‘1p;3p‘ test.txt    # 输出多行
sed -n ‘{1p;3p}‘ test.txt  #  用分号来隔离多个操作(如果有定址条件,则应该使用{ }括起来)
ID        type         old  new
A01_2   1_65117762   1|0  1|0

多个查找,以 ‘|’ 分割关键字

sed -n ‘/34189552|70543349/p‘ test.txt
结果如下:
A01_1   1_34189552   0|0  0|0
A01_3   1_70543349   0|0  0|0
*这里必须加‘‘引号,不然不返回任何值

前后替换

sed -e ‘s/1_109674087/_&_/‘ test.txt # 用&替代整个查找字符串
ID        type         old  new
A01_1   1_34189552   0|0  0|0
A01_2   1_65117762   1|0  1|0
A01_3   1_70543349   0|0  0|0
A01_4   1_77765794   0|1  0|1
A01_5   _1_109674087_  0|1  0|1
A01_6   1_194530914  0|0  0|0
A01_7   1_224812701  0|0  0|0
A01_8   2_3645429    1|0  1|0
A01_9   2_21527764   0|0  0|0
A01_10  2_28792335   0|0  0|0
A01_11  2_142074734  0|0  0|0

*注意Linux下shell的正则表达式与python支持的字符有所不同

正则表达式支持情况

  • 2.替换字段

s/被替换内容/替换内容/

sed -e ‘s/1_65117762/2_222/‘ test.txt
*这里使用-n不输出,需要使用-e
ID        type         old  new
A01_1   1_34189552   0|0  0|0
A01_2   2_222        1|0  1|0   # 不会出现两次,直接显示替换的内容
A01_3   1_70543349   0|0  0|0
A01_4   1_77765794   0|1  0|1
A01_5   1_109674087  0|1  0|1
A01_6   1_194530914  0|0  0|0
A01_7   1_224812701  0|0  0|0
A01_8   2_3645429    1|0  1|0
A01_9   2_21527764   0|0  0|0
A01_10  2_28792335   0|0  0|0
A01_11  2_142074734  0|0  0|0

替换两个字符中间的内容
*这里需要使用 -r:启用扩展的正则表达式,若与其他选项一起使用,应作为首个选项

sed -r  ‘s/(A01_11).*(0|0)/1 2_222 2/g‘ test.txt
*这里的1 代指第一个括号的内容 2代指第二个括号的内容
结果如下:
ID        type         old  new
A01_1   1_34189552   0|0  0|0
A01_2   1_65117762   1|0  1|0
A01_3   1_70543349   0|0  0|0
A01_4   1_77765794   0|1  0|1
A01_5   1_109674087  0|1  0|1
A01_6   1_194530914  0|0  0|0
A01_7   1_224812701  0|0  0|0
A01_8   2_3645429    1|0  1|0
A01_9   2_21527764   0|0  0|0
A01_10  2_28792335   0|0  0|0
A01_11 2_222 0 # 将最后一个中间字符改为‘ 2_222 ‘

指定需要替换的行和第几个

sed -e ‘2s/0/o/3‘ test.txt
将第2行第3个0替换成o
ID        type         old  new
A01_1   1_34189552   0|o  0|0 # 0被替换成了o
A01_2   1_65117762   1|0  1|0
A01_3   1_70543349   0|0  0|0
A01_4   1_77765794   0|1  0|1
A01_5   1_109674087  0|1  0|1
A01_6   1_194530914  0|0  0|0
A01_7   1_224812701  0|0  0|0
A01_8   2_3645429    1|0  1|0
A01_9   2_21527764   0|0  0|0
A01_10  2_28792335   0|0  0|0
A01_11  2_142074734  0|0  0|0
  • 3.删除字段

删除字段需要使用关键字d,sed -e /内容/d file

sed -e ‘ /1_34189552/d‘ test.txt
结果如下:
ID        type         old  new
A01_2   1_65117762   1|0  1|0
A01_3   1_70543349   0|0  0|0
A01_4   1_77765794   0|1  0|1
A01_5   1_109674087  0|1  0|1
A01_6   1_194530914  0|0  0|0
A01_7   1_224812701  0|0  0|0
A01_8   2_3645429    1|0  1|0
A01_9   2_21527764   0|0  0|0
A01_10  2_28792335   0|0  0|0
A01_11  2_142074734  0|0  0|0

指定行删除

sed -e ‘$d‘ test.txt
*注意有些表达式可以不加‘‘引号,带有正则的表达式必须加引号
ID        type         old  new
A01_1   1_34189552   0|0  0|0
A01_2   1_65117762   1|0  1|0
A01_3   1_70543349   0|0  0|0
A01_4   1_77765794   0|1  0|1
A01_5   1_109674087  0|1  0|1
A01_6   1_194530914  0|0  0|0
A01_7   1_224812701  0|0  0|0
A01_8   2_3645429    1|0  1|0
A01_9   2_21527764   0|0  0|0
A01_10  2_28792335   0|0  0|0

其他操作

删除所有空行
sed  ‘/^$/d‘ a.txt
删除多行
sed ‘/2_28792335/d;/2_3645429/d‘ a.txt
 
 
0人点赞
 
日记本

 

 

以上是关于Sed常用功能个人整理的主要内容,如果未能解决你的问题,请参考以下文章

sed常用模板整理

sed常用模板整理

sed常用模板整理

常用python日期日志获取内容循环的代码片段

小程序各种功能代码片段整理---持续更新

C#常用代码片段备忘