是否可以使用 PyTorch Lightning Bolts 在实例分割任务上微调 SimCLR？

Posted 2023-03-27

【中文标题】是否可以使用 PyTorch Lightning Bolts 在实例分割任务上微调 SimCLR？

【英文标题】：Is is possible to finetune SimCLR on an instance segmentation task using PyTorch Lightning Bolts?

【发布时间】：2021-03-22 16:09:11

【问题描述】：

我有一个高分辨率无人机图像数据集，我已将其拆分为大小为 512x512 的图块。瓷砖将通过描绘特定类型的植被进行注释，并以 COCO 格式存储。我想使用自我监督学习来进行瓷砖中的实例分割。 Pytorch Lightning bolts 模块提供了已经预训练的自我监督模型，例如 SimCLR。根据bolts module documentation，应该可以使用螺栓在任何计算机视觉任务上微调 SimCLR，例如实例分割。

然而，我发现的唯一示例显示了 SimCLR 如何在分类任务上进行微调。如何在实例分割任务上微调 SimCLR（或另一个自监督模型）？

【参考方案1】：

我想是的，您可以使用 SimCLR 作为特征提取器和深度模型，基于从 SimCLR 获得的数据表示（而不是正常情况下的数据）进行实例分割。