目标检测：YOLO和SSD 简介

Posted 2023-04-01

参考技术A

作为计算机视觉三大任务（图像分类、目标检测、图像分割）之一，目标检测任务在于从图像中定位并分类感兴趣的物体。传统视觉方案涉及霍夫变换、滑窗、特征提取、边界检测、模板匹配、哈尔特征、DPM、BoW、传统机器学习（如随机森林、AdaBoost）等技巧或方法。在卷积神经网络的加持下，目标检测任务在近些年里有了长足的发展。其应用十分广泛，比如在自动驾驶领域，目标检测用于无人车检测其他车辆、行人或者交通标志牌等物体。

目标检测的常用框架可以分为两类，一类是 two-stage/two-shot 的方法，其特点是将兴趣区域检测和分类分开进行，比较有代表性的是R-CNN，Fast R-CNN，Faster R-CNN；另一类是 one-stage/one-shot 的方法，用一个网络同时进行兴趣区域检测和分类，以YOLO（v1,v2,v3）和SSD为代表。

Two-stage的方式面世比较早，由于需要将兴趣区域检测和分类分开进行，虽然精度比较高，但实时性比较差，不适合自动驾驶无人车辆感知等应用场景。因而此次我们主要介绍一下SSD和YOLO系列框架。

SSD与2016年由W. Liu et al.在 SSD: Single Shot MultiBox Detector 一文中提出。虽然比同年提出的YOLO（v1）稍晚，但是运行速度更快，同时更加精确。

SSD的框架在一个基础CNN网络（作者使用VGG-16，但是也可以换成其他网络）之上，添加了一些额外的结构，从而使网络具有以下特性：

用多尺度特征图进行检测
作者在VGG-16后面添加了一些特征层，这些层的尺寸逐渐减小，允许我们在不同的尺度下进行预测。越是深层小的特征图，用来预测越大的物体。

用卷积网络进行预测
不同于YOLO的全连接层，对每个用于预测的 通道特征图，SSD的分类器全都使用了 卷积进行预测，其中 是每个单元放置的先验框的数量， 是预测的类别数。

设置先验框
对于每一个特征图上的单元格，我们都放置一系列先验框。随后对每一个特征图上的单元格对应的每一个先验框，我们预测先验框的 维偏移量和每一类的置信度。例如，对于一个 的特征图，若每一个特征图对应 个先验框，同时需要预测的类别有 类，那输出的大小为 。（具体体现在训练过程中）
其中，若用 表示先验框的中心位置和宽高， 表示预测框的中心位置和宽高，则实际预测的 维偏移量 是 分别是：

下图是SSD的一个框架，首先是一个VGG-16卷积前5层，随后级联了一系列卷积层，其中有6层分别通过了 卷积（或者最后一层的平均池化）用于预测，得到了一个 的输出，随后通过极大值抑制（NMS）获得最终的结果。

图中网络用于检测的特征图有 个，大小依次为 ， ， ， ， ， ；这些特征图每个单元所对应的预置先验框分别有 , , , , , 个，所以网络共预测了 个边界框，（进行极大值抑制前）输出的维度为 。

未完待续

参考：
chenxp2311的CSDN博客：论文阅读：SSD: Single Shot MultiBox Detector
小小将的知乎专栏：目标检测|SSD原理与实现
littleYii的CSDN博客：目标检测论文阅读：YOLOv1-YOLOv3（一）

作者的其他相关文章：
图像分割：全卷积神经网络（FCN）详解
PointNet：基于深度学习的3D点云分类和分割模型 详解
基于视觉的机器人室内定位

目标检测 — one-stage检测

 

　　one-stage检测算法，其不需要region proposal阶段，直接产生物体的类别概率和位置坐标值，经过单次检测即可直接得到最终的检测结果，因此有着更快的检测速度，比较典型的算法如YOLO，SSD，Retina-Net。

4、SSD（2016）

　　SSD结合了YOLO中的回归思想和Faster-RCNN中的Anchor机制，使用全图各个位置的多尺度区域特征进行回归，既保持了YOLO速度快的特性，也保证了窗口预测的跟Faster-RCNN一样比较精准。

　　SSD的核心是在特征图上采用卷积核来预测一系列Default Bounding Boxes的类别、坐标偏移。为了提高检测准确率，SSD在不同尺度的特征图（5个）上进行预测。

　　

模型设计：

（1）采用多尺度特征图用于检测

　　所谓多尺度采用大小不同的特征图，CNN网络一般前面的特征图比较大，后面会逐渐采用stride=2的卷积或者pool来降低特征图大小，利用多个尺度图来做检测，比较大的特征图来用来检测相对较小的目标，而小的特征图负责检测大目标。

（2）采用卷积进行检测

　　SSD直接采用卷积对不同的特征图来进行提取检测结果。对于形状为m*m*p的特征图，只需要采用 3*3* p这样比较小的卷积核得到检测值。减少参数量。

（3）设置先验框

　　SSD借鉴了Faster R-CNN中anchor的理念，每个单元设置尺度或者长宽比不同的先验框，预测的边界框（bounding boxes）是以这些先验框为基准的，在一定程度上减少训练难度。

训练技巧：

（1）先验框匹配

　　在训练过程中，首先要确定训练图片中的ground truth（真实目标）与哪个先验框来进行匹配，与之匹配的先验框所对应的边界框将负责预测它。

　　SSD的先验框与ground truth的匹配原则主要有两点。首先，对于图片中每个ground truth，找到与其IOU最大的先验框，该先验框与其匹配。第二个原则是：对于剩余的未匹配先验框，若某个ground truth的 大于某个阈值（一般是0.5），那么该先验框也与这个ground truth进行匹配。

　　为了保证正负样本尽量平衡，SSD采用了hard negative mining，就是对负样本进行抽样，抽样时按照置信度误差（预测背景的置信度越小，误差越大）进行降序排列，选取误差的较大的top-k作为训练的负样本，以保证正负样本比例接近1:3。

（2）损失函数

　　与Faster-RCNN中的RPN是一样的，不过RPN是预测Box里面有Object或者没有，没有分类，SSD直接用的Softmax分类。Location的损失，还是一样，都是用Predict box和Default Box/Anchor的差 与Ground Truth Box和Default Box/Anchor的差进行对比，求损失。

　　损失函数定义为位置误差（locatization loss， loc）与置信度误差（confidence loss, conf）的加权和。对于位置误差，其采用Smooth L1 loss，对于置信度误差，其采用softmax loss。

　　

（3）对每一张特征图，按照不同的大小（Scale） 和长宽比（Ratio）生成生成k个默认框（Default Boxes）

（4）数据扩增

　　主要采用的技术有水平翻转（horizontal flip），随机裁剪加颜色扭曲（random crop & color distortion），随机采集块域（Randomly sample a patch）（获取小目标训练样本）

• 数据扩增技术很重要，对于mAP的提升很大；
• 使用不同长宽比的先验框可以得到更好的结果；
•  采用多尺度的特征图用于检测也是至关重要的。

5、DSSD（2017）

　　最大的贡献，在常用的目标检测算法中加入上下文信息。

　　SSD算法对小目标不够鲁棒的最主要的原因是浅层feature map的表征能力不够强。DSSD就使用了更好的基础网络（ResNet-101）和Deconvolution层，skip连接来给浅层feature map更好的表征能力。

 　　

6、RetinaNet（2017）

　　提出Single stage detector不好的原因完全在于：

1. 极度不平衡的正负样本比例: anchor近似于sliding window的方式会使正负样本接近1000：1，而且绝大部分负样本都是easy example，这就导致下面一个问题：
2. gradient被easy example dominant的问题：往往这些easy example虽然loss很低，但由于数 量众多，对于loss依旧有很大贡献，从而导致收敛到不够好的一个结果。

　　作者提出了一个新的one-stage的检测器RetinaNet，达到了速度和精度很好地trade-off。使用改进的损失函数Focal Loss。

　　Focal Loss从交叉熵损失而来。二分类的交叉熵损失如下：

 

 

 

参考博客：http://lanbing510.info/2017/08/28/YOLO-SSD.html