目标检测超分重建对小目标检测有效性探究

Posted 2022-08-29 zstar-_

前言

前段时间在看一些小目标检测的文献综述，看到一种思路是将图片超分重建之后再送到检测网络中进行检测。
优点是检测效果提升，缺点是可能会造成伪影。
实践出真知，本篇就用DOTA-test数据集中的一张图像来做测试，探究超分重建是否对小目标检测起到帮助。

超分模型

本次实验选用的是之前使用过的Real-ESRGAN，作者提供了一个方便快捷的工具包，可以用命令行的方式快速进行图像/视频的超分转换。

下面这两张图是上篇博文用到的大图局部。

转换之前：

转换之后：


可以看到图像的清晰度提升了不少，不过由于该模型的预训练权重作者主要是在动漫图上进行训练，因此重建出的结果会一些动漫风格。

结果对比

由于重建出的图片默认会是原图的4倍大小，为了对比的公平性，将重建之后的原图用线性插值方式(PS自动调节)，重设为原图尺寸。

然后分别输入YOLOv5网络中，利用之前训练好的YOLOv5L模型进行检测，其结果如下图所示：

重建前：

重建后：

从这组对比可以发现，重建之后确实检测出了更多图像。

下面再换一块区域，进行对比：

重建前：

重建后：

从这组对比可以看到，重建之后，模型检测出了原本没检测到的面包车(蓝色框)，但与此同时，也丢失了部分原本检测出的对象。

总结

超分重建相当于是对图像进行了优化，微调了整体的光照色彩，减少了噪点。但这并不代表一定能优化目标的检测，最多是从另一个视角进行再次检测，效果变好变坏都有可能。