使用 coco 数据格式 json 文件进行交叉验证

Posted 2023-03-27

【中文标题】使用 coco 数据格式 json 文件进行交叉验证

【英文标题】：Cross Validation with coco data format json files

【发布时间】：2020-05-08 03:00:44

【问题描述】：

我是一个新手 ML 学习者，并尝试在 google colab 上使用 COCO 数据格式 json 和谷歌驱动器上的大量图像进行语义图像分割。

更新

我借用了这段代码作为起点。所以我在 colab 上的代码很像这样。 https://github.com/akTwelve/tutorials/blob/master/mask_rcnn/MaskRCNN_TrainAndInference.ipynb

/更新

每次收到新的注释数据时，我都会将导出的 json 文件拆分为 2 个 json（以 80/20 的比率进行训练/验证）。但这越来越累，因为我在一个文件中有 1000 多个注释，并且我使用 VS 代码的替换功能手动完成。

有没有更好的方法在 google colab 上以编程方式执行此操作？

所以我喜欢做的是在不手动吐出 json 文件的情况下旋转注释数据。

说，我在我的谷歌驱动器上的一个 json 文件中有 1000 个注释，我想使用 1-800 注释进行训练，并使用 801-1000 注释来验证第一次训练，然后用于下一次训练我想使用 210-1000 注释进行训练，使用 1-200 注释进行验证。就像从 colab 上的代码中选择 json 中的一部分数据一样。

或者如果我可以在一次训练期间轮换数据（K-Fold 交叉验证？），那就更好了，但我不知道这样做。

这是我在 colab 上的部分代码。

加载 json 文件

dataset_train = CocoLikeDataset()
dataset_train.load_data('PATH_TO_TRAIN_JSON', 'PATH_TO_IMAGES')
dataset_train.prepare()

dataset_val = CocoLikeDataset()
dataset_val.load_data('PATH_TO_VALIDATE_JSON', 'PATH_TO_IMAGES')
dataset_val.prepare()

初始化模型

model = modellib.MaskRCNN(mode="training", config=config, model_dir=MODEL_DIR)

init_with = "coco"

if init_with == "imagenet":
    model.load_weights(model.get_imagenet_weights(), by_name=True)
elif init_with == "coco":
    model.load_weights(COCO_MODEL_PATH, by_name=True,
                       exclude=["mrcnn_class_logits", "mrcnn_bbox_fc", 
                                "mrcnn_bbox", "mrcnn_mask"])
elif init_with == "last":
    model.load_weights(model.find_last(), by_name=True)

火车

start_train = time.time()
model.train(dataset_train, dataset_val, 
            learning_rate=config.LEARNING_RATE, 
            epochs=30, 
            layers='heads')
end_train = time.time()
minutes = round((end_train - start_train) / 60, 2)
print(f'Training took minutes minutes')

验证

start_train = time.time()
model.train(dataset_train, dataset_val, 
            learning_rate=config.LEARNING_RATE / 10,
            epochs=10, 
            layers="all")
end_train = time.time()
minutes = round((end_train - start_train) / 60, 2)
print(f'Training took minutes minutes')

json

  "info": 
    "year": 2020,
    "version": "1",
    "description": "Exported using VGG Image Annotator (http://www.robots.ox.ac.uk/~vgg/software/via/)",
    "contributor": "",
    "url": "http://www.robots.ox.ac.uk/~vgg/software/via/",
    "date_created": "Tue Jan 21 2020 16:18:14"
  ,
  "images": [
    
      "id": 0,
      "width": 2880,
      "height": 2160,
      "file_name": "sample01.jpg",
      "license": 1,
      "flickr_url": "sample01.jpg",
      "coco_url": "sample01.jpg",
      "date_captured": ""
    
  ],
   "annotations": [
    
      "id": 0,
      "image_id": "0",
      "category_id": 1,
      "segmentation": [
        588,
        783,
        595,
        844,
        607,
        687,
        620,
        703,
        595,
        722,
        582,
        761
      ],
      "area": 108199,
      "bbox": [
        582,
        687,
        287,
        377
      ],
      "iscrowd": 0
    
  ],
  "licenses": [
    
      "id": 1,
      "name": "Unknown",
      "url": ""
    
  ],
  "categories": [
    
      "id": 1,
      "name": "nail",
      "supercategory": "type"
    
  ]

仅供参考，我的工作流程是这样的

使用 VIA 注释工具标记图像

以coco格式json导出注解

修改json并保存到我的google drive

在 colab 上加载 json 并开始训练

【问题讨论】：

如果没有数据本身或没有太多信息，将很难回答有关拆分数据的问题。如果您要问的只是如何拆分数据，那么大部分代码在这里不是无关紧要吗？

感谢 AMC，我刚刚添加了一个 json 和我的 wrokflow。但是从您的评论中假设，数据轮换不是您在训练时所做的事情？

但是从你的评论中假设，数据轮换不是你在训练时做的事情？你是怎么从我的评论中得到的？我没有做任何机器学习，所以我不知道。如果你能提供一个简单的解释，我可以试一试。

您共享数据很好，但我不清楚您要拆分哪些部分。我宁愿不必自己运行和逆向工程代码。

【参考方案1】：

sklearn 库中有一个非常好的实用函数，可以在这里做你想做的事。它叫做train_test_split。

现在，很难理解你的数据结构是什么，但我假设这段代码：

dataset_train = CocoLikeDataset()
dataset_train.load_data('PATH_TO_TRAIN_JSON', 'PATH_TO_IMAGES')
dataset_train.prepare()

用某种图像数组或图像路径数组填充dataset_train。 sklearn 的train_test_split 函数能够接受pandas DataFrames 以及numpy 数组。

我通常对 pandas DataFrames 非常满意，因此我建议您使用 pandas 函数 concat 将训练和验证数据合并为一个 DataFrame，然后使用 sklearn 函数 train_test_split 在每个训练时期的开始。它看起来像下面这样：

import pandas as pd
from sklearn.model_selection import train_test_split

# Convert the data into a DataFrame
master_df = pd.concat([pd.DataFrame(dataset_train), pd.DataFrame(dataset_val)], ignore_index=True)

# Separate out the data and targets DataFrames' (required by train_test_split)
data_df = master_df[['image_data_col_1','image_data_col_2','image_data_col_3']]
targets_df = master_df[['class_label']]

# Split the data into a random train/test (or train/val) split
data_train, data_val, targets_train, targets_val = train_test_split(data_df, targets_df, test_size=0.2)

# Training loop
# If the training function requires the targets to be present in the same DataFrame, you can do this before beginning training:
dataset_train_df = pd.concat([data_train, targets_train], axis=1)
dataset_val_df = pd.concat([data_val, targets_val], axis=1)
##################################
# Continue with training loop...
##################################

最后一点：理想情况下，您应该拥有三组 - 训练、测试和验证。因此，预先分离出一个测试集，然后在训练循环的每次迭代开始时执行 train_test_split，以便从剩余数据中获得训练验证拆分。

【讨论】：

谢谢@shinvu！我检查了 train_test_split 链接。使用 scikit-learn 库处理 pandas 数据帧集似乎很有希望。但现在我想知道如何将它们集成到我当前的代码中。我的机器学习知识仍然很零碎。我的训练代码与 this 几乎相同。或者，如果您能指点我为此类主题提供文档，那将不胜感激。