数据训练的前处理脚本

Posted 2022-09-16 海里的鱼2022

一、背景： 在数据集准备过程中需要完成的处理任务：

1. 遍历目录和子目录下（目前是二级）的jpg/jpeg文件和苹果手机拍摄的heic格式图片

2. 苹果收集如果开启了动态模式，会一张图片一个压缩包，然后带mov的一个动画，占用空间，在扫描文件过程中可以直接删除

3. 图片大小都处理成宽640的图片格式，减少后面训练时间

后续需要增加的处理流程： 

1. 自动调节白平衡

2. 自动调节曝光， 暗光和强反光（过曝）的照片需要做个处理，改善图片质量

3. 如果图片质量太差（失脚或者模糊）需要跳过或直接删除

二、处理流程： 

扫描获得image文件列表，再按文件列表处理

 三、中间技术点： 

1. 文件夹和目录的遍历，删除，保存等操作

2. heic格式文件读取，包括pillow读取后转换为opencv能处理的数据格式

上代码： 

###resize the jpg to width=640

import cv2
import os
import pyheif
from PIL import Image
import shutil
import numpy as np




jpg_path="dataset_test/"
dsc_path="dataset_test/resized/"

jpg_list=[]
for file in os.listdir(jpg_path):
    print("check filelist",file)
    if (fi