把文本中重复的行删除(只保留一条)

Posted mingyunrangwozoudaoxianzai

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了把文本中重复的行删除(只保留一条)相关的知识,希望对你有一定的参考价值。

在进行文本处理的时候,会经常遇到要删除重复行的情况。有三种常见方法:
  第一,用sort+uniq,注意,单纯uniq是不行的,
               sort -k2n file | uniq
     这里我做了个简单的测试,当file中的重复行不再一起的时候,uniq将服务删除所有的重复行。经过排序后,所有相同的行都在相邻,因此unqi可以正常删除重复行。
  第二,用sort+awk命令,注意,单纯awk同样不行,原因同上。
                 sort -k2n file | awk ‘{if ($0!=line) print;line=$0}‘
       如果全部用awk来解决,也可以不需要sort命令先排序拉。

  第三,用sort+sed命令,同样需要sort命令先排序。
                sort -k2n file | sed ‘$!N; /^/(.*/)/n/1$/!P; D‘
       解释一下:将当前行及下一行放入模式空间,直到遇到$, " /^/(.*/)/n/1 "该条件可以确定模式空间中的两行
是否为相同的行.
————————————————
版权声明:本文为CSDN博主「小Tian」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。
原文链接:https://blog.csdn.net/edei2004/article/details/3694163

以上是关于把文本中重复的行删除(只保留一条)的主要内容,如果未能解决你的问题,请参考以下文章

mysql 删除重复的数据保留一条

sql删除重复数据且只保留一条?

oracle删除重复的行怎么删啊

oracle删除重复的行怎么删啊

删除一张表中重复数据并保留一条ID最小的记录

怎么删除ACCESS中的重复记录 只保留一条