Linux文件合并去重

Posted foundwant

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Linux文件合并去重相关的知识,希望对你有一定的参考价值。

1.取两个文件的交集

cat file1 file2 | sort | uniq -d > file3

 

2.删除两个文件的交集

cat file1 file2 | sort | uniq -q > file3

 

3.取两个文件的并集

cat file1 file2 | sort | uniq > file3

 

4.去除一个文件中的重复行

sort file1 | uniq > file2
注:这里把重复的行统一为一行

sort file1 | uniq -u > file2
注:这里把所有重复的行全部删掉了,一行不留

 

以上是关于Linux文件合并去重的主要内容,如果未能解决你的问题,请参考以下文章

实验5 MapReduce初级编程实践——编程实现文件合并和去重操作

代码模板实现双向链表的去重拼接合并排序

markdown 多个文件取第一个单词去重后合并

python合并多个csv文件并去重

java合并时间段去重

java合并时间段去重