Linux命令之处理重复行uniq
Posted 二木成林
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Linux命令之处理重复行uniq相关的知识,希望对你有一定的参考价值。
概述
uniq
命令可以用于查找文件中的重复行、删除重复行、显示重复行的出现次数等。
注:通常情况下,
uniq
命令只删除连续重复行。
语法
该命令的语法如下:
uniq [-cdu][-f<栏位>][-s<字符位置>][-w<字符位置>][--help][--version][输入文件][输出文件]
该命令支持的选项有:
选项 | 说明 |
---|---|
c, --count | 在每列旁边显示该行重复出现的次数 |
-d, --repeated | 仅显示重复出现的行列 |
-f <栏位>, --skip-fields=<栏位> | 忽略比较指定的栏位 |
-s <字符位置>, --skip-chars=<字符位置> | 忽略比较指定的字符 |
-u, --unique | 仅显示出一次的行列 |
-w <字符位置>, --check-chars=<字符位置> | 指定要比较的字符 |
–help | 显示帮助 |
–version | 显示版本信息 |
[输入文件] | 指定已排序好的文本文件。如果不指定此项,则从标准读取数据 |
[输出文件] | 指定输出的文件。如果不指定此选项,则将内容显示到标准输出设备(显示终端) |
使用
删除连续重复行
如果不使用任何参数,uniq
命令将会删除所有连续的重复行,只显示唯一的行。但对于不连续的重复行,则不会进行删除。语法格式如下:
# 语法
uniq 文件名
删除所有重复行
如果我们想要删除所有的重复行,可以让 uniq
命令与 sort
命令一起使用,即先排序让所有的重复行连续,再进行删除。语法格式如下:
# 语法
sort 文件名 | uniq
只显示出现过一次的行
如果想要只显示文件中只出现过一次的行,可以使用 -u
选项:
# 语法
uniq -u 文件名
只显示重复行
我们同样可以只显示重复行,使用 -d
选项即可。如果想要显示所有的重复行,需要使用 -D
选项。命令格式如下:
# 语法
# 只显示重复行
uniq -d 文件名
sort 文件名 | uniq -d
# 显示所有的重复行
uniq -D 文件名
sort 文件名 | uniq -D
注意,排序和不排序的区别:
显示文件中每一行的出现次数
如果想要查看文件中每一行的出现次数,可以使用 -c
选项。命令格式如下:
# 语法
uniq -c 文件名
sort 文件名 | uniq -c
注:排序后所有重复行都会连续,而
uniq
命令实际上处理的是连续重复行,对于不连续的重复行不处理。
限定比较的字符个数
我们可以使用 -w
选项限制只比较每行中的指定个数的字符,来判断行是否重复。如下图,判断行的前 5 个字符,来比较每行是否重复,会发现每行都是重复行。语法格式如下:
# 语法
uniq -w 指定比较字符个数 文件名
# 示例
uniq -w 5 test.txt
以上是关于Linux命令之处理重复行uniq的主要内容,如果未能解决你的问题,请参考以下文章