求助一个python脚本用于批删除同文件夹下的同名不同后缀的文件

Posted 2023-05-04

求一个python脚本，在macos环境下，同一个目录下有0001.ARW、0001.JPG、0002.ARW、0002.JPG、0003.ARW、0003.JPG、0004.ARW、0004.JPG……等一批相同文件名但不同后缀的文件，假如我删除其中几个.JPG后，要求检测同文件夹下的全部文件，并且把与已删除的.JPG同名的但是后缀为ARW的文件也删除。.JPG还在的文件，.ARW予以保留。全部检测结束，删除前提醒我Y/N确认。

参考技术A

以下代码在MacOS系统下测试通过 使用前请自行配置需要操作的文件夹路径（dir_path），默认操作文件夹为脚本所在路径。提示删除操作时，输入y或者Y会删除文件，直接回车或者输入其他任意字符为跳过。具体实现代码如下，缩进参考截图：

---

---

import glob
from pathlib import Path

dir_path = '.'
files = glob.glob('*.ARW')
for i in files:
is_exist = Path(Path(i).stem + '.JPG')
if not is_exist.is_file():
verify = input(" 对应.JPG文件已被删除，请选择操作Y/N:".format(i))
if verify.lower() == 'y':
try:
Path(i).unlink()
print("成功删除文件 ".format(i))
except OSError as e:
print("异常:文件 未被删除！".format(i))
else:
print("跳过文件 ".format(i))
continue
else:
print("操作完成，再次运行脚本可重新检测！")

---

测试输出：

0009.ARW 对应.JPG文件已被删除，请选择操作Y/N:n

跳过文件 0009.ARW

0008.ARW 对应.JPG文件已被删除，请选择操作Y/N:y

成功删除文件 0008.ARW

0001.ARW 对应.JPG文件已被删除，请选择操作Y/N:y

成功删除文件 0001.ARW

操作完成，再次运行脚本可重新检测！

Python脚本：删除文件夹下的重复图片，实现图片去重

近期在整理相册的时候，发现相册中有许多重复图片，人工一张张筛查删除太枯燥，便写下这个脚本，用于删除文件夹下重复的图片。

 

第一部分：判断两张图片是否相同

要查找重复的图片，必然绕不开判断两张图片是否相同。判断两张图片简单呀！图片可以看成数组，比较两个数组是否相等不就行了。但是这样做太过简单粗暴，因为两个数组的每个元素都要一一比较，效率很低。为了尽量避免两个庞大的数组比较：

• 先进行两张图片的大小(byte)比较，若大小不相同，则两张图片不相同；
• 在两张图片的大小相同的前提下，进行两张图片的尺寸(长和宽)比较，若尺寸不相同，则两张不相同；
• 在两张图片的尺寸相同的前提下，进行两张图片的内容(即数组元素)比较，若内容不相同，则图片不相同；

这样，当图片大小或图片尺寸不相同的时候，便认为两张图片不同，可以省去比较数组元素的部分，效率up~

 1 import shutil
 2 import numpy as np
 3 from PIL import Image
 4 import os
 5 
 6 
 7 def 比较图片大小(dir_image1, dir_image2):
 8     with open(dir_image1, "rb") as f1:
 9         size1 = len(f1.read())
10     with open(dir_image2, "rb") as f2:
11         size2 = len(f2.read())
12     if(size1 == size2):
13         result = "大小相同"
14     else:
15         result = "大小不同"
16     return result
17 
18 
19 def 比较图片尺寸(dir_image1, dir_image2):
20     image1 = Image.open(dir_image1)
21     image2 = Image.open(dir_image2)
22     if(image1.size == image2.size):
23         result = "尺寸相同"
24     else:
25         result = "尺寸不同"
26     return result
27 
28 
29 def 比较图片内容(dir_image1, dir_image2):
30     image1 = np.array(Image.open(dir_image1))
31     image2 = np.array(Image.open(dir_image2))
32     if(np.array_equal(image1, image2)):
33         result = "内容相同"
34     else:
35         result = "内容不同"
36     return result
37 
38 
39 def 比较两张图片是否相同(dir_image1, dir_image2):
40     # 比较两张图片是否相同
41     # 第一步：比较大小是否相同
42     # 第二步：比较长和宽是否相同
43     # 第三步：比较每个像素是否相同
44     # 如果前一步不相同，则两张图片必不相同
45     result = "两张图不同"
46     大小 = 比较图片大小(dir_image1, dir_image2)
47     if(大小 == "大小相同"):
48         尺寸 = 比较图片尺寸(dir_image1, dir_image2)
49         if(尺寸 == "尺寸相同"):
50             内容 = 比较图片内容(dir_image1, dir_image2)
51             if(内容 == "内容相同"):
52                 result = "两张图相同"
53     return result

 

第二部分：判断文件夹内是否有重复图片

若要判断文件夹内是否有和图片A相同的图片，则需要遍历文件夹内所有图片，挨个判断两个图片是否相同。若文件夹有1000张图片，那么第1张图片需要与剩下的999张图片作比较，第2张图片需要与剩下的998张图片作比较，第3张需要与剩下的997张图片作比较，以此类推。在此程序中的做法是，先对所有图片按图片大小(byte)排序，然后再执行遍历比较。这样做的结果是：重复图片很大概率会连着出现（因为重复图片大小相同）

if __name__ == \'__main__\':

    load_path = \'E:\\\\测试图片集(未去重)\'  # 要去重的文件夹
    save_path = \'E:\\\\测试图片集(重复照片)\'  # 空文件夹，用于存储检测到的重复的照片
    os.makedirs(save_path, exist_ok=True)

    # 获取图片列表 file_map，字典{文件路径filename : 文件大小image_size}
    file_map = {}
    image_size = 0
    # 遍历filePath下的文件、文件夹（包括子目录）
    for parent, dirnames, filenames in os.walk(load_path):
        # for dirname in dirnames:
        # print(\'parent is %s, dirname is %s\' % (parent, dirname))
        for filename in filenames:
            # print(\'parent is %s, filename is %s\' % (parent, filename))
            # print(\'the full name of the file is %s\' % os.path.join(parent, filename))
            image_size = os.path.getsize(os.path.join(parent, filename))
            file_map.setdefault(os.path.join(parent, filename), image_size)

    # 获取的图片列表按 文件大小image_size 排序
    file_map = sorted(file_map.items(), key=lambda d: d[1], reverse=False)
    file_list = []
    for filename, image_size in file_map:
        file_list.append(filename)

    # 取出重复的图片
    file_repeat = []
    for currIndex, filename in enumerate(file_list):
        dir_image1 = file_list[currIndex]
        dir_image2 = file_list[currIndex + 1]
        result = 比较两张图片是否相同(dir_image1, dir_image2)
        if(result == "两张图相同"):
            file_repeat.append(file_list[currIndex + 1])
            print("\\n相同的图片：", file_list[currIndex], file_list[currIndex + 1])
        else:
            print(\'\\n不同的图片：\', file_list[currIndex], file_list[currIndex + 1])
        currIndex += 1
        if currIndex >= len(file_list)-1:
            break

    # 将重复的图片移动到新的文件夹，实现对原文件夹降重
    for image in file_repeat:
        shutil.move(image, save_path)
        print("正在移除重复照片：", image)

 

第三部分：程序运行结果

若文件夹下有10张图片A、5张图片B、1张图片C，程序运行结束后，该文件夹下剩余1张图片A、1张图片B、1张图片C；其他的图片移动到 save_path 指定的文件夹下。

 

第四部分：注意

程序代码可以直接复制使用，需要修改 load_path 和 save_path 参数；

保证 load_path 文件夹都为图片格式（.jpg .png .jpeg）的文件类型，不可以有其他格式的文件（例如.mp4）；请先用资源管理器处理文件夹，大佬直接修改代码读取文件夹下指定类型的文件；