检测论文综述（一） : 从RCNN到Mask-RCNN

Posted 2023-05-14

参考技术A

对于目标检测方向并不是特别熟悉，本文记录一下RCNN, fast-RCNN, faster-RCNN, mask-RCNN这4篇有关目标检测的论文笔记和学习心得。

R-CNN的意思就是Region based，主要思路就是根据一张图像，提取多个region，再将每个Region输入CNN来进行特征的提取。因此RCNN就可以分为 Region proposals , Feature extraction 两个主要部分，提取的特征就可以输入任意一个分类器来进行分类。
模型的流程图如下：

在训练的时候，首先使用的是已经训练好的CNN网络作为特征提取器，但是由于预训练是在分类数据集上，因此在应用到检测之前要做finetune。也就是说，为了将用ImageNet数据集训练的网络应用到新的任务（检测），新的数据集（region）上，作者将原来的CNN最后的1000类的fc层，更改为了 层， 代表待检测的物体的类别数。然后，对于所有的region，如果它和ground truth的重叠率大于0.5，就认为是正类。
对于分类器的训练，作者发现选择多大的IoU来区分正类和负类非常关键。并且，对于每一类，都会训练一个分类器。

框的回归非常重要，在对每一个region proposal使用分类器进行打分评价之后，作者使用一个回归器来预测一个新的框作为结果。这个回归器使用的特征是从CNN中提取的特征。回归器的训练中，输入是 region proposal 的 和ground truth的 ，目标是学习一种变换，使得region proposal通过该变换能够接近ground truth。同时，希望这种变换拥有尺度不变性，也就是说尺度变化的话，变换不会改变。
如下图所示，每一个regressor会学习一组参数，特征输入是pool 5的特征输出，拟合的目标是 。

Fast-RCNN 主要解决的问题是在RCNN中对于每一个region proposal都进行特征提取，会产生非常多的冗余计算，因此可以先对一张图像进行特征提取，再根据region proposal在相应的特征上进行划分得到对应region的特征（映射关系）。
这样便可以实现共享计算提高速度，但是与SPPnets不同，SPPnets在一副图像得到对应的特征后，从这张图像的特征上proposal对应的部分，采用空间金字塔池化，如下图：

RoI pooling的方法很简单，类似于空间金字塔pooling，它将proposal部分对应卷积层输出的特征（称之为RoI，因为用于做pooling的特征是 region of interest，也就是我们感兴趣的区域）划分成 块，然后对每一块求最大值，最终得到了一个 的特征图。可以看出，它只是空间金字塔pooling的一部分。
但是SPP-nets的空间金字塔也是可以求导的，那么它到底不好在哪里呢？因为当每一个RoI都可能来源于不同的图像的时候（R-CNN和SPPnets的训练策略是从一个batch的不同图像中，分别挑选一个proposal region），SPPNets的训练非常地低效，这种低效来源于在SPPnets的训练中，每个RoI的感受野都非常地大，很可能对应了原图的整个图像，因此，得到的特征也几乎对应了整张图像，所以输入的图像也就很大。
为了提高效率，Fast-RCNN首先选取 个图像，再从每个图像上选择 个RoI，这样的效率就比从每个图像提取一个RoI提高了 倍。

为了将分类和框回归结合起来，作者采用了多任务的loss，来进行联合的训练。具体来说就是将分类的loss和框回归的loss结合起来。网络的设计上非常直接，就是将RoI得到的特征接几个FC层后，分别接不同的输出层。对应于分类部分，特征会接一个softmax输出，用于分类，对于框回归部分，会接一个输出4维特征的输出层，然后分别计算loss，用于反向传播。loss的公式如下：

回归的target可以参考前面的R-CNN部分。

notes

为什么比fast还fast呢？主要原因是在这篇论文中提出了一个新的层：RPN（region proposal networks）用于替代之前的selective search。这个层还可以在GPU上运算来提高速度。
RPN的目的：

为了能够进行region proposal，作者使用了一个小的网络，在基础的卷积层输出的特征上进行滑动，这个网络输入大小为 ，输入后会映射（用 的卷积）为一个固定长度的特征向量，然后接两个并联的fc层（用 的卷积层代替），这两个fc层，一个为box-regressoin，一个为box-classification。如下图：

在每一个滑动窗口（可以参考 https://blog.csdn.net/bingochenjx/article/details/78422290 ），为了考虑到尽可能多的框的情况，作者设计了anchors来作为region proposal。anchors就是对于每一个滑动窗口的中心位置，在该位置对应的原图位置的基础上，按照不同的尺度，长宽比例框出 个不同的区域。然后根据这些anchors对应的原始图像位置以及区域，和ground truth，就可以给每一个滑动窗口的每一个anchor进行标记，也就是赋予label，满足一定条件标记为正类（比如和ground truth重叠大于一个值），一定条件为负类。对于正类，就可以根据ground truth和该anchor对应的原图的区域之间的变换关系（参考前面的R-CNN的框回归），得到回归器中的目标，用于训练。也就是论文中的loss function部分：

自然地，也就要求RPN的两个并联的FC层一个输出2k个值用于表示这k个anchor对应的区域的正类，负类的概率，另一个输出4k个值，用于表示框回归的变换的预测值。

对于整个网络的训练，作者采用了一种叫做 4-step Alternating Training 的方法。具体可以参考论文。

与之前的检测任务稍有不同，mask r-cnn的任务是做instance segmentation。因此，它需要对每一个像素点进行分类。
与Faster R-CNN不同，Faster R-CNN对每一个候选框产生两个输出，一个是类别，一个是bounding box的offset。Mask R-CNN新增加了一个输出，作为物体的mask。这个mask类似于ps中的蒙版。

与Faster R-CNN类似的是，Mask R-CNN同样采用RPN来进行Region Proposal。但是在之后，对于每一个RoI，mask r-cnn还输出了一个二值化的mask。

不像类别，框回归，输出都可以是一个向量，mask必须保持一定的空间信息。因此，作者采用FCN来从每个RoI中预测一个 的mask。

由于属于像素级别的预测问题，就需要RoI能够在进行特征提取的时候保持住空间信息，至少在像素级别上能够对应起来。因此，传统的取最大值的方法就显得不合适。
RoI Pooling，经历了两个量化的过程：
第一个：从roi proposal到feature map的映射过程。
第二个：从feature map划分成7*7的bin，每个bin使用max pooling。

为此，作者使用了RoIAlign。如下图

为了避免上面提到的量化过程

可以参考 https://blog.csdn.net/xiamentingtao/article/details/78598511

作者使用ResNet作为基础的特征提取的网络。
对于预测类别，回归框，mask的网络使用如下图结构：

整体看完这几篇大佬的论文，虽说没有弄清楚每一个实现细节，但是大体上了解了算法的思路。可以看出，出发点都源于深度神经网络在特征提取上的卓越能力，因此一众大神试图将这种能力应用在检测问题中。从R-CNN中简单地用于特征提取，到为了提高速度减少计算的Fast R-CNN，再到为了将region proposal集成进入整个模型中，并且利用GPU加速的RPN，也就是Faster R-CNN。再到为了应用于instance segmentation任务中，设计的RoIAlign和mask。包括bounding box regression，pooling层的设计，训练方法的选择，loss的设计等等细节，无一不体现了大师们的思考和创造力。
可能在我们这些“拿来”者的眼中，这些方法都显得“理所应当”和巧妙，好用，但是，它们背后隐藏的选择和这些选择的思考却更值得我们学习。
以及，对待每一个问题，如何设计出合理的解决方案，以及方案的效率，通用性，更是应该我们努力的方向。

百度飞桨顶会论文复现营目标检测综述笔记

参加了百度飞桨顶会论文复现营第二期，这次是目标检测综述的笔记。

RCNN到Faster RCNN这几种模型讲的实在太多了，直接从FPN开始吧。

FPN：通过将深层特征与浅层特征相融合，并在多层预测，加强了浅层特征图的语义，特征更加鲁棒，定位更加准确。同时提高了检测精度，尤其对于小目标。模型结构图中蓝框越粗语义信息越多，图像分辨率越小，篮框越细上下文信息更强，图像分辨率越高。

与Faster RCNN相比，FPN将单一尺度特征图上通过RPN网络提取的region proposal映射到特征金字塔多个尺度上进行预测，而Faster RCNN是在单一尺寸特征图上使用RPN网络，提取regional proposal，使用单张特征图进行预测。

YOLO：属于one-stage模型，算法流程是：1.将输入图像划分为S×S个网格；2.每个网格预测B个边界框和这个边界框是物体的概率，具体为4个表示坐标的值xywh和1个置信度Pr(object)*IoU(truth&pred)；3.每个网格预测C个类的概率。

每个网格内的预测边界框并不一定必须在网格内，可以横跨多个网格。每个网格还需要投票该网格的类别，然后将边界框和该网格类别合起来就是目标检测的结果。

损失函数包括四项：边界框回归损失-均方误差；预测是目标的得分；预测是背景的得分；预测物体类别。

SSD：同属于one-stage模型。对于同一张特征图，在每一个位置上提取预设数量的default box，然后直接在特征图上密集的提取proposal进行预测，使网络不需要先提取候选目标区域，速度大幅提升。

RetinaNet：解决了one-stage模型训练过程中，负样本数量大大超过正样本的问题。类别不平衡是指目标检测算法在早期会生成很多候选区域框，每个框都会生成一个分类类别，然而实际图像中往往只有几个目标，所以大多数候选区域的类别为“背景”，即类别不平衡，是的分类器的训练精度严重受损。

Two-stage模型中，RPN网络可以很大程度减轻类别不平衡问题，使类别极不平衡变为类别较不平衡，然而one-stage方法则会被严重影响精度。改进思路是对损失函数计算进行改进，例如focal loss，适用于各类网络。Focal loss的思路是在交叉熵函数的log前面加上(1-p)，这个系数的意思就是1减去属于这个类别的概率，如果属于这个类别的概率比较大，就意味着高置信度被分为这个类别，所以1减去该概率的值就会很小，所以在分类的时候高概率会被分成某个类别的损失值就会比较小，也就是概率越大的类别在损失函数中占比越小，这样网络就会更聚焦在分类概率小的类别中。这样的方法在各类网络中都可以用。

考虑IoU损失的方法IoU-Net：通过非极大值抑制，消除冗余检测框。非极大值抑制NMS是指：1.将同一类的所有检测框按照分类置信度排序；2.将与分类置信度最高的检测框IoU大于一定阈值的检测框删除；3.从未处理的框中，再选出一个分类置信度最高的检测框，重复上述操作。

但是这种方式也会带来分类置信度删除存在问题，例如下图中红色预测框分类置信度高，绿框定位置信度高，如果使用分类置信度进行NMS，那么绿框会被舍弃，显然当前情况下绿框的预测效果要好些。分类置信度和定位准确度不对齐：只依靠分类的置信度来作为NMS中关键依据，可能会导致大量高质量的边界框丢失。

IoU存在的问题包括：1.IoU与常用的损失没有强相关性；2.如果两个对象不重叠，那么IoU为0，并且不会反应两个形状彼此之间的距离；3.IoU无法正确区分两个对象的对齐方式。

GIoU：GIoU公式中C是两个矩形框的最小外接矩形，就是虚线的大矩形框，公式中分子是外接矩形框去除两个小矩形框A和B后的部分，分母就是C，用IOU减去该值就是GIOU的值。

一阶段和两阶段融合的模型RefineDet：创新点在于：1.由锚点精调模块、目标检测模块、转换连接模块组成；2.锚点精调模块在预设锚点基础上进行训练，得到更适用于待处理问题的锚点；3.转换连接模块传递所生成锚点与增强的特征；4.目标检测模块利用所生成锚点初始化，执行目标检测任务。

Anchor方法的问题：无需预先设置锚点。必须针对不同问题定义一组固定宽高比的锚点，错误的设计可能会妨碍检测器，影响速度和精度。为了对目标保持足够高的召回率，需要大量锚点，而大多数锚点对应于与目标无关的候选区域。大量的锚点会导致显著的计算成本，尤其是当方法存在候选框分析阶段涉及重型分类器时。这样就需要用到anchor-free方法了。

GA-FPN：使用特种功能去指导anchor的生成。模型包括两个并行的分支：1.Anchor Generation：分别预测anchor位置和形状，然后结合在一起得到anchor；2.Feature Adaption：进行anchor特征的调整，得到新的特征图并进行之后的预测。

CornerNet模型：利用成对角点预测的目标检测模型。利用单个卷积网络将框的左上角和右下角两个点组成一对关键点，进而不需要设计在单阶段检测中大量的anchor boxes，同时引入了corner pooling用于提升角点定位效果。这个模型思想新颖，只需要预测两个关键点的类别即可，只需要做点的拟合，不需要再做anchor。

步骤如下：1.采用hourglass network提取特征，该网络通过串联多个hourglass module组成，每个hourglass module都是先通过一系列的降采样操作缩小输入的大小，然后通过上采样恢复到输入图像的大小；2. hourglass network后会有两个输出分支模块，分别表示左上角点预测分支和右下角点预测分支；3.每个分支模块包含一个corner pooling层和3个输出：heatmap、embeddings和offsets，其中heatmap用啦癌输出预测的角点信息，embeddings用来对预测的corner点做group，找到属于同一个目标的左上角和右下角角点，offsets基于输入图像中的点映射到特征图时的量化误差，对预测框做微调。

CenterNet模型：用成对角点+中心点预测目标，在CornerNet基础上，CenterNet通过检测每个目标看做是预测一组三个关键点（增加一个关键点来探索proposal中间区域的信息）而不是一对关键点，提供了更多的监督信息，从而提高了准确率和召回率。

具体步骤为：1.用一组角点和中心点表示每个目标，在CornerNet基础上增加一个分支用于预测center keypoint的heatmap和偏移；2.改进了CornerNet中的corner pooling，提出了新的center pooling；3.基于CornerNet提出的方法选择前k个候选框。

使用transformer进行目标检测的模型DETR：通过二分图匹配实现检测，无anchor，无NMS，提供了目标检测的新思路：backbone→transformer→detection head；基于集合的损失函数，学习二分图的匹配关系；大目标检测效果超过Faster R-CNN，小目标检测上仍有优化空间。