制作coco数据集以在Detectron框架上进行数据的训练

Posted superfly123

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了制作coco数据集以在Detectron框架上进行数据的训练相关的知识,希望对你有一定的参考价值。

图片预处理

首先,根据Detectron官方介绍,数据集一般为jpg格式,分辨率一般为800*600左右。
在这里我们可以photoshop批量对图片进行处理
技术图片

使用labelImg对数据集进行标注。

安装labelImg之后,打开文件目录,找到data文件夹下的predefined_classes.txt并打开,修改里面的内容,将自己定义的标签名添加到下面,这样在标注图片的时候,就会显示标签供选择。
技术图片
打开labelImg技术图片
Change Save Dir 为你选择保存XML文件的目录,Open Dir 为你需要标注图片的目录。
技术图片
点击Creat RectBox 在图片上画框,选择标签的名字。
技术图片
点击Save对其进行保存,点击Next Image选择下一个图片进行处理。

XML文件修改(不是必须的)

因为我后来又通过高斯模糊、加噪声等方式对图片进行了扩充,需要重新使用labelImg对数据集进行标注,而加入噪声的图片和原始图片分辨率以及框的位置都是不变的,只有文件名需要修改,于是可以通过简单的python脚本对xml文件进行批量修改。我的python脚本如下,仅对我的数据有效(仅供参考)。


#!/usr/bin/python
# -*- coding: UTF-8 -*-
#修改文件夹、文件名等内容
import os  
import os.path
import sys
from xml.etree.ElementTree import parse, Element

def test():
    path="D:/Train_Object_Detection/Python_Rename/labelXml/"  
    files=os.listdir(path)  #得到文件夹下所有文件名称  
    #s=[]  
    for xmlFile in files: #遍历文件夹  
        if not os.path.isdir(xmlFile): #判断是否是文件夹,不是文件夹才打开  
            print(xmlFile)  
            pass
        path="D:/Train_Object_Detection/Python_Rename/labelXml/"
        newStr=os.path.join(path,xmlFile)  
        dom=parse(newStr)  ###最核心的部分,路径拼接,输入的是具体路径  
        root=dom.getroot()
        #print root
        part=xmlFile[0:6]
        part1=part+sys.argv[2]+'.jpg'
        newStr1='D:/Train_Object_Detection/'+part1
        
        #root.remove(root.find('path'))
        
        #e=Element('path')
        #print root.find('path').text
        root.find('folder').text=sys.argv[1]
        root.find('path').text=newStr1
        oldName=root.find('filename').text
        root.find('filename').text=oldName[0:6]+sys.argv[2]+'.jpg'
        # #打印输出  
        print ('path after change')  
        #print n0.firstChild.data  
      
        # print '修改后的 pose'  
        # print p0.firstChild.data  
        # print '~~~~~'  
        dom.write(newStr, xml_declaration=True)
        pass

if __name__=='__main__':
    print (sys.argv[1:])
    test()

(安利!!!)使用《拖把更名器》批量对文件名进行修改。
突然发现有一些别人制作的数据集不正确,在这里我也写了一个脚本对其进行修改。

#!/usr/bin/python
# -*- coding: UTF-8 -*-
#新建filename节点  将标记的错误float的数据更改为正确的int数据
import os  
import os.path
import sys
from xml.etree.ElementTree import parse, Element
import xml.etree.ElementTree as ET 

def test():
    path="./data/"  
    files=os.listdir(path)  #得到文件夹下所有文件名称  
    for xmlFile in files: #遍历文件夹  
        if not os.path.isdir(xmlFile): #判断是否是文件夹,不是文件夹才打开  
            print(xmlFile)  
            pass
        path="./data/"
        newStr=os.path.join(path,xmlFile)  
        dom=parse(newStr)  
        root=dom.getroot()
     
       

        part=xmlFile[0:5]
        part1=part+'.jpg'
        print(part1)

        element= Element('filename')
        element.text=part1
        root.append(element)




        width = root.find('size').find('width')
        new_width = str(int(float(width.text))+1)
        width.text= new_width


        for obj in root.findall('object'):
            xmin = obj.find('bndbox').find('xmin')
            ymin = obj.find('bndbox').find('ymin')
            xmax = obj.find('bndbox').find('xmax')
            ymax = obj.find('bndbox').find('ymax')
            new_xmin = str(int(float(xmin.text))+1)
            new_ymin = str(int(float(ymin.text))+1)
            new_xmax = str(int(float(xmax.text))+1)
            new_ymax = str(int(float(ymax.text))+1)
            xmin.text = new_xmin
            ymin.text = new_ymin
            xmax.text = new_xmax
            ymax.text = new_ymax
       

        print ('path after change')  
   
        dom.write(newStr, xml_declaration=True)
        pass

if __name__=='__main__':
    print (sys.argv[1:])
    test()

划分数据集

根据个人设置,将数据集划分为train、val、test等
下面是一个简单的随机划分和批量移动文件脚本

##深度学习过程中,需要制作训练集和验证集、测试集。
##先把JPEG文件扩展名改为 xml,这样就和 annotation一样了,随机种子可以一块给移动了
##之后再重新改回来

import os, random, shutil
def moveFile(XMLfileDir,JPEGfileDir):
        XMLpathDir = os.listdir(XMLfileDir)    #取xml&图片的原始路径
        XMLfilenumber=len(XMLpathDir)
        rate=0.2    #自定义抽取图片的比例,比方说100张抽10张,那就是0.1
        picknumber=int(XMLfilenumber*rate) #按照rate比例从文件夹中取一定数量图片
        random.seed(0)
        sample1 = random.sample(XMLpathDir, picknumber)  #随机选取picknumber数量的样本图片
        random.seed(0)
        print (sample1)
        print ("```````````````")
        for name in sample1:
                shutil.move(XMLfileDir+name, XMLtarDir+name)
                print (XMLfileDir+name)
                shutil.move(JPEGfileDir+name, JPEGtarDir+name)
                print (JPEGfileDir+name)
        return

if __name__ == '__main__':
    XMLfileDir = "./XML_train/"    #源xml文件夹路径
    XMLtarDir = './XML_val/'    #移动到新的文件夹路径
    JPEGfileDir = "./JPEG_train/"    #源图片文件夹路径
    JPEGtarDir = './JPEG_val/'    #移动到新的文件夹路径
    moveFile(XMLfileDir,JPEGfileDir)

训练数据

以上是关于制作coco数据集以在Detectron框架上进行数据的训练的主要内容,如果未能解决你的问题,请参考以下文章

Detectron2 maskRCNN训练自己的数据集

如何注册要与detectron2 一起使用的数据集?我们有 COCO JSON 格式的图像及其注释

压缩大的GeoJSON / Shapefle数据集以在Web浏览器上查看

Detectron2:预测中没有实例

Excel VBA - 搜索范围和连接的 SQL ADODB 记录集以在列中匹配写入结果集

使用python 脚本挑出coco 数据集中的某一类数据