Linux 文件去重所遇到的bug

Posted 姜兴琪

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Linux 文件去重所遇到的bug相关的知识,希望对你有一定的参考价值。


cat file | sort | uniq >result

sort 会产生很多中间文件,位于tmp目录下,正常情况下,等命令执行完毕,中间结果会被自动清理掉。

Linux

如果要去重的文件过大,超出tmp文件的磁盘容量,就会排序失败,中间结果也不会被成功清理,tmp空间直接飙到100%

这时需要我们手动清理文件来解决



以上是关于Linux 文件去重所遇到的bug的主要内容,如果未能解决你的问题,请参考以下文章

Linux json文件(排序去重)

Linux 文件去重

linux 文件内容查找去重统计

Linux文件合并去重

linux:如何对文本里的相同行进行去重

RHEL6.5上Oracle ACFS与Linux samba一起使用时遇到的bug