Linux uniq命令

Posted 2020-07-11

介绍

uniq命令是一个文本去重命令，它能对标准输入和文本文件进行去重操作，并且能将结果通过stdout输出，uniq命令经常会同sort命令一起使用，uniq命令默认对多条重复的行只显示一行。

 

参数

  -c, --count           在每行记录前显示该行内容的数量
  -d, --repeated        仅显示重复的记录行，并且去重
  -D, --all-repeated[=delimit-method]  仅显示重复的行，并不去重
  -f, --skip-fields=N   avoid comparing the first N fields
  -i, --ignore-case     去重显示，uniq的默认参数
  -s, --skip-chars=N    指定忽略行的前N个字符
  -u, --unique          仅显示非重复的行
  -z, --zero-terminated  末尾生成0个字节的终止符作为输出（\\0）,这样的目的就是避免一条记录行因为存在空格被识别为多行
  -w, --check-chars=N   只对比指定的N个字符，默认是从开始算起，如果和-s一起使用那么要排除-s指定的字符数

测试数据

 

1.显示行的数量

2.只显示重复的行

 

3.仅显示非重复的行

4.-s和-w

-s 2:忽略前两个字符，即从第二列开始比较

-w 2:只比较两个字符，即只比较第二列的前两个字符

所以，ja、fe、ma个取了重复的第一条记录行

5.生成0个字节的终止符，\\0

例如：当文本中的行记录是以空格分隔，并且需要将标准输出传给xargs,由于xargs是以空格作为分隔符，但是实际需要将整个文本内容作为一个完整的输出，这个时候就需要使用-z参数在文本末尾生成\\0的终止符告诉程序整个文本作为一个整体，

[root@localhost test]# cat test
a b 
c d

[root@localhost test]# uniq  test |xargs 
a b c d

 

注意：结果并不是我们要的结果，这时就需要文本的末尾生成\\0的分隔符作为行的行的结束标示

[root@localhost test]# uniq -z test |xargs -0
a b
c d 

使用了-z参数之后就将整个文本作为一个整体在末尾生成一个\\0的分隔符

总结

 

 

 

 

备注：     作者：pursuer.chen     博客：http://www.cnblogs.com/chenmh 本站点所有随笔都是原创，欢迎大家转载；但转载时必须注明文章来源，且在文章开头明显处给明链接。 《欢迎交流讨论》