RCNN--对象检测的又一伟大跨越 2（包括SPPnetFast RCNN）

Posted 2020-07-20 soulmate1023

　　继续上次的学习笔记，在RCNN之后是Fast RCNN，但是在Fast RCNN之前，我们先来看一个叫做SPPnet的网络架构。

一，SPP简介：

　　有一个事实需要说清楚：CNN的卷积层不需要固定尺寸的图像，全连接层是需要固定大小输入的，因此提出了SPP层放到卷积层的后面。SPPNet将任意大小的图像池化生成固定长度的图像表示，如下图所示：

　　SPP的优点：1）任意尺寸输入，固定大小输出，2）层多，3）可对任意尺度提取的特征进行池化。

　　池化示意图：

　　SPP层的结构如下，将紧跟最后一个卷积层的池化层使用SPP代替，作为全连接层的输入。当我们有很多层网络的时候，当网络输入的是一张任意大小的图片，这个时候我们可以一直进行卷积、池化，直到网络的倒数几层的时候，也就是我们即将与全连接层连接的时候，就要使用金字塔池化，使得任意大小的特征图都能够转换成固定大小的特征向量，这就是空间金字塔池化的奥义（多尺度特征提取出固定大小的特征向量）

　　Note :

BoW -> SPM

（SPP的思想来源于SPM，然后SPM的思想来源自BoW。
关于BoW和SPM，找到了两篇相关的博文，就不在这里展开了。
http://blog.csdn.net/v_JULY_v/article/details/6555899
http://blog.csdn.net/jwh_bupt/article/details/9625469)

 

二，用SPPnet进行对象检测：

　　R-CNN重复使用深层卷积网络在~2k个窗口上提取特征，特征提取非常耗时。SPPNet比较耗时的卷积计算对整幅图像只进行一次，之后使用spp将窗口特征图池化为一个固定长度的特征表示。

----------------------------------------------------------------------------------------

这里插一条关于神经网络训练中常用的三个英文单词：epoch、 iteration和batchsize的区别：

（1）batchsize：批大小。在深度学习中，一般采用SGD训练，即每次训练在训练集中取batchsize个样本训练；

（2）iteration：1个iteration等于使用batchsize个样本训练一次；

（3）epoch：1个epoch等于使用训练集中的全部样本训练一次；

举个例子，训练集有1000个样本，batchsize=10，

那么：训练完整个样本集需要：100次iteration，1次epoch。

------------------------------------------------------------------------------------------

这是原文的关于SPP的详解，自己认为非常好，这里先贴出来，明天继续学习：

---------------------------------

SPP网络，我不得不要先说，这个方法的思想在Fast RCNN， Faster RCNN上都起了举足轻重的作用。SPP网络主要是解决深度网络固定输入层尺寸的这个限制，也从各个方面说明了不限制输入尺寸带来的好处。文章在一开始的时候就说明了目前深度网络存在的弊端：如果固定网络输入的话，要么选择crop策略，要么选择warp策略，crop就是从一个大图扣出网络输入大小的patch（比如227×227），而warp则是把一个bounding box的内容resize成227×227 。无论是那种策略，都能很明显看出有影响网络训练的不利因素，比如crop就有可能crop出object的一个部分，而无法准确训练出类别，而warp则会改变object的正常宽高比，使得训练效果变差。接着，分析了出深度网络需要固定输入尺寸的原因是因为有全链接层，不过在那个时候，还没有FCN的思想，那如何去做才能使得网络不受输入尺寸的限制呢？Kaiming He 大神就想出，用不同尺度的pooling 来pooling出固定尺度大小的feature map，这样就可以不受全链接层约束任意更改输入尺度了。下图就是SPP网络的核心思想：
通过对feature map进行相应尺度的pooling，使得能pooling出4×4, 2×2, 1×1的feature map，再将这些feature map concat成列向量与下一层全链接层相连。这样就消除了输入尺度不一致的影响。训练的时候就用常规方法训练，不过由于不受尺度的影响，可以进行多尺度训练，即先resize成几个固定的尺度，然后用SPP网络进行训练，学习。这里讲了这么多，实际上我想讲的是下面的 东西， SPP如何用在检测上面。论文中实际上我觉得最关键的地方是提出了一个如何将原图的某个region映射到conv5的一种机制，虽然，我并不是太认可这种映射机制，等下我也会说出我认为合理的映射方法。论文中是如何映射的，实际上我也是花了好久才明白。
首先，我想先说明函数这个东东，当然我不是通过严谨的定义来说明。什么是y=f(x)，我认为只要输入x，有一组固定的操作f，然后产生一个对应的y，这样子就算是函数。根据输入有一个一一对应的输出，这就是函数。这样理解的话，卷积也是函数，pooling也是函数。当然我并不想说明函数是什么，什么是函数，实际上我想强调的是一一对应这样的关系。大家都知道，现在默许的无论是卷积还是pooling（无stride），都会加相应的pad，来使得卷积后的尺寸与卷积前相同，当然这种做法还个好处就是使得边缘不会只被卷积一次就消失了～这样子的话，实际上原图与卷积后的图就是一一对应的关系。原图的每一个点（包括边缘）都可以卷积得到一个新的点，这就是一一对应了。如下图所示（自己画得太丑）：

绿色部分是图片，紫色部分是卷积核。 
 
如上图可以看出，蓝色的区域是原图区域，而红色的区域是padding区域，紫色的是卷积核。卷积后得到的区域与原区域是一一对应的。而卷积或pooling增加stride的话就相当与原图先进行卷积或池化，再进行sampling，这还是能一一对应的，就这样原图的某个区域就可以通过除以网络的所有stride来映射到conv5后去区域。终于把这里讲出来了，大家如果直接按照函数的一一对应关系去理解，很容易理解为什么原图的区域除以所有的stride就是映射到conv5的区域。这样子就可以在原图上的一些操作放在conv5上进行，这样可以减小任务复杂度。不过，我并不是太认可这种映射机制，这种映射只能是点到点的关系，不过我觉得从原图的某个区域R映射到conv5的区域r,应该r对R敏感，换句话说，应该r感受野应该与R有交集。这样子的话，示意图如下：
 
其中蓝色的为conv的神经元感受野，红色的是原图的某个感兴趣区域，而黑色框我才认为是要映射到conv5的区域。 
使用SPP进行检测，先用提候选proposals方法（selective search）选出候选框，不过不像RCNN把每个候选区域给深度网络提特征，而是整张图提一次特征，再把候选框映射到conv5上，因为候选框的大小尺度不同，映射到conv5后仍不同，所以需要再通过SPP层提取到相同维度的特征，再进行分类和回归，后面的思路和方法与RCNN一致。实际上这样子做的话就比原先的快很多了，因为之前RCNN也提出了这个原因就是深度网络所需要的感受野是非常大的，这样子的话需要每次将感兴趣区域放大到网络的尺度才能卷积到conv5层。这样计算量就会很大，而SPP只需要计算一次特征，剩下的只需要在conv5层上操作就可以了。当然即使是这么完美的算法，也是有它的瑕疵的，可能Kaiming He大神太投入 SPP的功效了，使得整个流程框架并没有变得更加完美。首先在训练方面，SPP没有发挥出它的优势，依旧用了传统的训练方法，这使得计算量依旧很大，而且分类和bounding box的回归问题也可以联合学习，使得整体框架更加完美。这些Kaiming He都给忽略了，这样也就有了第二篇神作 Fast RCNN。