如何通过排序命令按列大文件唯一？

Posted 2023-03-24

技术标签:

【中文标题】如何通过排序命令按列大文件唯一？【英文标题】：How to unique by column large file via sort command? 【发布时间】：2021-11-21 01:15:34 【问题描述】：

我有一个大列表（600 万行）并且想按第 2 列唯一排序，如何通过排序命令来做到这一点？例如

CONT,000-00-0000,GRAM
BEVE,507-66-6876,IGHT
MICH,000-00-0000,EVINS
CONT,111-11-1111,GRAM

转入

CONT,000-00-0000,GRAM
BEVE,507-66-6876,IGHT
CONT,111-11-1111,GRAM

【问题讨论】：

这能回答你的问题吗？ Is there a way to 'uniq' by column? 【参考方案1】：

$ awk -F, '!array[$2]++' input_file
CONT,000-00-0000,GRAM
BEVE,507-66-6876,IGHT
CONT,111-11-1111,GRAM

【讨论】：

以上是关于如何通过排序命令按列大文件唯一？的主要内容，如果未能解决你的问题，请参考以下文章