Linux命令之处理重复行uniq

Posted 二木成林

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Linux命令之处理重复行uniq相关的知识,希望对你有一定的参考价值。

概述

uniq 命令可以用于查找文件中的重复行、删除重复行、显示重复行的出现次数等。

注:通常情况下,uniq 命令只删除连续重复行。

语法

该命令的语法如下:

uniq [-cdu][-f<栏位>][-s<字符位置>][-w<字符位置>][--help][--version][输入文件][输出文件]

该命令支持的选项有:

选项说明
c, --count在每列旁边显示该行重复出现的次数
-d, --repeated仅显示重复出现的行列
-f <栏位>, --skip-fields=<栏位>忽略比较指定的栏位
-s <字符位置>, --skip-chars=<字符位置>忽略比较指定的字符
-u, --unique仅显示出一次的行列
-w <字符位置>, --check-chars=<字符位置>指定要比较的字符
–help显示帮助
–version显示版本信息
[输入文件]指定已排序好的文本文件。如果不指定此项,则从标准读取数据
[输出文件]指定输出的文件。如果不指定此选项,则将内容显示到标准输出设备(显示终端)

使用

删除连续重复行

如果不使用任何参数,uniq 命令将会删除所有连续的重复行,只显示唯一的行。但对于不连续的重复行,则不会进行删除。语法格式如下:

# 语法
uniq 文件名

删除所有重复行

如果我们想要删除所有的重复行,可以让 uniq 命令与 sort 命令一起使用,即先排序让所有的重复行连续,再进行删除。语法格式如下:

# 语法
sort 文件名 | uniq

只显示出现过一次的行

如果想要只显示文件中只出现过一次的行,可以使用 -u 选项:

# 语法
uniq -u 文件名

只显示重复行

我们同样可以只显示重复行,使用 -d 选项即可。如果想要显示所有的重复行,需要使用 -D 选项。命令格式如下:

# 语法
# 只显示重复行
uniq -d 文件名 
sort 文件名 | uniq -d
# 显示所有的重复行
uniq -D 文件名 
sort 文件名 | uniq -D


注意,排序和不排序的区别:

显示文件中每一行的出现次数

如果想要查看文件中每一行的出现次数,可以使用 -c 选项。命令格式如下:

# 语法
uniq -c 文件名
sort 文件名 | uniq -c

注:排序后所有重复行都会连续,而 uniq 命令实际上处理的是连续重复行,对于不连续的重复行不处理。

限定比较的字符个数

我们可以使用 -w 选项限制只比较每行中的指定个数的字符,来判断行是否重复。如下图,判断行的前 5 个字符,来比较每行是否重复,会发现每行都是重复行。语法格式如下:

# 语法
uniq -w 指定比较字符个数 文件名
# 示例
uniq -w 5 test.txt

以上是关于Linux命令之处理重复行uniq的主要内容,如果未能解决你的问题,请参考以下文章

Linux之uniq命令

Linux命令如何删除文件里面的重复行

Linux命令如何删除文件里面的重复行

linux命令(12)uniq去重

Linux uniq常用命令

Linux 命令合集 文本处理和正则表达式相关命令之五