awk去重以某列重复的行
Posted chongchong88
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了awk去重以某列重复的行相关的知识，希望对你有一定的参考价值。
[[email protected] cc]# cat 2.txt
adc 3 5
a d a
a 3 adf
a d b
a 3 adf
去重第一列重复的行：
[[email protected] cc]# cat 2.txt |awk ‘!a[$1]++{print}‘
adc 3 5
a d a
重复的行取最上面一行记录
去重以第一列和第二列重复的行：
[[email protected] cc]# cat 2.txt |awk ‘!a[$1" "$2]++{print}‘
adc 3 5
a d a
a 3 adf
去除重复的行：
[[email protected] cc]# cat 2.txt |awk ‘!a[$0]++{print}‘
adc 3 5
a d a
a 3 adf
a d b
只显示重复行：
[[email protected] cc]# cat 2.txt |awk ‘a[$0]++{print}‘
a 3 adf
以上是关于awk去重以某列重复的行的主要内容，如果未能解决你的问题，请参考以下文章