(转)Shell脚本编程--Uniq命令

Posted liujiacai

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了(转)Shell脚本编程--Uniq命令相关的知识,希望对你有一定的参考价值。

uniq

原文:http://blog.csdn.net/xifeijian/article/details/9209627

 uniq命令可以去除排序过的文件中的重复行,因此uniq经常和sort合用。也就是说,为了使uniq起作用,所有的重复行必须是相邻的。

uniq语法

[[email protected] ~]# uniq [-icu]
选项与参数:
-i   :忽略大小写字符的不同;
-c  :进行计数
-u  :只显示唯一的行

 

testfile的内容如下

 
cat testfile
hello
world
friend
hello
world
hello
 

 

直接删除未经排序的文件,将会发现没有任何行被删除

 
#uniq testfile  
hello
world
friend
hello
world
hello
 

 

排序文件,默认是去重

#cat words | sort |uniq
friend
hello
world

 

排序之后删除了重复行,同时在行首位置输出该行重复的次数

#sort testfile | uniq -c
1 friend
3 hello
2 world

 

仅显示存在重复的行,并在行首显示该行重复的次数

#sort testfile | uniq -dc
3 hello
2 world

 

仅显示不重复的行

sort testfile | uniq -u
friend  

以上是关于(转)Shell脚本编程--Uniq命令的主要内容,如果未能解决你的问题,请参考以下文章

Shell脚本------正则表达式与常用命令(sort,uniq,tr,cut)

shell命令--uniq

shell脚本——sortuniqtr数组排序cuteval命令配置

Shell编程之正则表达式——sort,uniq工具

shell编程练习

8.10 shell特殊符_cut命令;8.11 sort wc uniq命令;8.12 tee