对于ssd对小目标检测效果的思考

Posted 2022-12-06 mazinkaiser1991

对于ssd模型对于小目标检测效果不好的问题，我认为可以结合.prototxt文件进行分析，以conv4_3_norm_mbox_priorbox为例：

  prior_box_param 
    min_size: 30.0
    max_size: 60.0
    aspect_ratio: 2
    flip: true
    clip: false
    variance: 0.1
    variance: 0.1
    variance: 0.2
    variance: 0.2
    step: 8
    offset: 0.5
  

其中min_size比较明确为30pixel，若以IOU 0.5为例，则原物体大小至少为21.21pixel，才能与原物体有0.5以上的IOU。也因此小于21pixel的物体，ssd无法检测。因为没有办法生成anchor。针对这个问题其实可以通过min_size与step的方式进行解决。

但仅生成anchor还不够，若要检测小物体，既需要一张足够大的featuremap来提供更加精细的特征和做更加密集的采样，同时也需要足够的semantic meaning来与背景区分开。当前conv4_3_norm_mbox_priorbox一方面featuremap不够大，特征信息不够，另一方面conv4_3_norm_mbox_priorbox属于比较靠近输入的卷积层，semantic信息同时不够。以上两方面的原因都造成了conv4_3_norm_mbox_priorbox无法用于检测小目标。

但对于conv9_2_mbox_priorbox层：

  prior_box_param 
    min_size: 264.0
    max_size: 315.0
    aspect_ratio: 2
    flip: true
    clip: false
    variance: 0.1
    variance: 0.1
    variance: 0.2
    variance: 0.2
    step: 300
    offset: 0.5
  

最小的框是264pixel，同理最小物体的尺寸是186.67pixel，conv9_2_mbox_priorbox包含语义信息较多，但可以检测的最小物体过大，也造成了conv9_2_mbox_priorbox无法用于检测小目标。

针对既要较大的featuremap，又要较为丰富的语义信息的问题，FPN、retinanet、yolov3等采用的方法比较一致，使用较小的featuremap通过upsample操作与较大的featuremap concat在一起，即保留了深层featuremap的语义信息，又利用了浅层featuremap较为精细的特征。yolov2同样使用了多尺度特征融合。

除了多尺度特征融合之外，还可以采用的另一个思路是detnet。使用专门的目标检测主干网络，代替当前针对分类任务的主干网络。针对分类任务的主干网络有以下问题：当前主干网络基于较大的降采样因子产生较大的感受野，较大的感受野对分类任务有利。（Traditional backbone produces higher receptive field based on large downsampling factor, which is beneficial to the visual classification）然而以上做法造成了空间分辨率的让步，这造成了大目标的定位不准确与小目标的识别困难（However, the spatial resolution is compromised which will fail to accurately localize the large objects and recognize the small objects.）

其核心思想是空洞瓶颈结构（dilated bottleneck structure），总结起来就是一句话：DetNet不仅保持较高分辨率的特征图，同时具有较大的感受野。（DetNet not only maintains high resolution feature maps but also keeps large receptive field）

论文中认为FPN在较深的层次生成并预测较大的物体，上述物体的边界可能会过于模糊以致于不能准确的回归。（large object is generated and predicted within deeper layers, the boundary of these object may be too blurry to get an accurate regression）。较大的步长的另一个缺点是小物体的丢失。（Another drawback of large stride is the missing of small objects.）

PS：FPN使用P2-P6层，retinanet使用P3-P7层。在retinanet中anchor与gt的IOU大于0.5为正样本，小于0.4为背景，大于0.4小于0.5的在训练过程中忽略。FPN仍然使用与faster-rcnn相同的原则，与某个gt有最高的IOU，或者与任何gt的IOU大于0.7，则认为是正样本，与任何gt IOU都小于0.3，则认为是负样本。

最后回到核心内容上来，detnet的实现就是将resnet中原来的3*3卷积换成3*3，dilate为2的空洞卷积，网络结构见下图：

参考：

https://www.zhihu.com/question/49455386

https://github.com/eric612/MobileNet-SSD-windows/blob/master/models/VGGNet/VOC0712/SSD_300x300/train.prototxt