Linux 文件去重
Posted bowanghou
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了Linux 文件去重相关的知识，希望对你有一定的参考价值。
背景：
大量图片，但个图片只是名字不一样，内容一样，需要去重
date;find /home/admin/image -name *.jpeg | xargs md5sum|sort >allfiles;cat allfiles |uniq -w 32 > uniqfiles;comm allfiles uniqfiles -2 |cut -c 35-|tr ‘\n‘ ‘\0‘|xargs -n `getconf ARG_MAX` rm;date
以上是关于Linux 文件去重的主要内容，如果未能解决你的问题，请参考以下文章