linux 通过md5查找重复文件

Posted 懵懂的青春

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了linux 通过md5查找重复文件相关的知识,希望对你有一定的参考价值。

代码如下:

md5sum *|sort  |uniq -w32  -D|awk -F ‘ ‘ ‘{print $2}‘
 uniq          部分参数 

-c             #在每行前显示该行重复次数。
-d             #只输出重复的行。
-D             #只输出重复的行,有几行输出几行。
-f             #-f 忽略的段数,-f 1 忽略第一段。
-i             #不区分大小写。
-w             #忽略第n个字符以后的内容 。
-s             #-s 5忽略后面5个字符

md5sum * 先查看所有文件的md5值,重复的文件的md5值相同。

uniq  处理时是处理相邻两行,所以需要先排序。    

因为处理完后会显示md5值影响观看,可以通过  awk 命令显示文件名

awk -F ‘ ‘ ‘{print $2}‘        #-F指定分隔符,{print $2}指定第几列

以上是关于linux 通过md5查找重复文件的主要内容,如果未能解决你的问题,请参考以下文章

Qt实现一个重复文件检测小工具(原理:通过md5校验)

如何创建片段以重复变量编号中的代码行

怎么快速对比两个Linux文件夹

运用MD5文件查重

windows 和 linux互传文件后md5的文件校验

有人可以解释啥是 SVN 平分算法吗?理论上和通过代码片段[重复]