卷积神经网络大总结

Posted jlqzzz

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了卷积神经网络大总结相关的知识，希望对你有一定的参考价值。

#Deep Learning回顾#之2006年的Science Paper

大家都清楚神经网络在上个世纪七八十年代是着实火过一回的，尤其是后向传播BP算法出来之后，但90年代后被SVM之类抢了风头，再后来大家更熟悉的是SVM、AdaBoost、随机森林、GBDT、LR、FTRL这些概念。究其原因，主要是神经网络很难解决训练的问题，比如梯度消失。当时的神经网络研究进入一个低潮期，不过Hinton老人家坚持下来了。

功夫不负有心人，2006年Hinton和学生发表了利用RBM编码的深层神经网络的Science Paper：Reducing the Dimensionality of Data with Neural Networks，不过回头来看，这篇paper在当今的实用性并不强，它的更大作用是把神经网络又推回到大家视线中，利用单层的RBM自编码预训练使得深层的神经网络训练变得可能，但那时候Deep learning依然争议很多，最终真正爆发是2012年的ImageNet的夺冠，这是后话。

id="iframe_0.6455015088431537" src="data:text/html;charset=utf8,%3Cimg%20id=%22img%22%20src=%22https://www.52ml.net/wp-content/uploads/2016/08/flow.png?_=5821587%22%20style=%22border:none;max-width:967px%22%3E%3Cscript%3Ewindow.onload%20=%20function%20()%20%7Bvar%20img%20=%20document.getElementById('img');%20window.parent.postMessage(%7BiframeId:'iframe_0.6455015088431537',width:img.width,height:img.height%7D,%20'http://www.cnblogs.com');%7D%3C/script%3E" frameborder="0" scrolling="no" style="border-style: none; border-width: initial; width: 554px; height: 462px;">

如图中所示，这篇paper的主要思想是使用受限RBM先分层训练，受限的意思是不包含层内的相互连接边（比如vi*vj或hi*hj）。每一层RBM训练时的目标是使得能量最小：

id="iframe_0.4559916597791016" src="data:text/html;charset=utf8,%3Cimg%20id=%22img%22%20src=%22https://www.52ml.net/wp-content/uploads/2016/08/RBM.png?_=5821587%22%20style=%22border:none;max-width:967px%22%3E%3Cscript%3Ewindow.onload%20=%20function%20()%20%7Bvar%20img%20=%20document.getElementById('img');%20window.parent.postMessage(%7BiframeId:'iframe_0.4559916597791016',width:img.width,height:img.height%7D,%20'http://www.cnblogs.com');%7D%3C/script%3E" frameborder="0" scrolling="no" style="border-style: none; border-width: initial; width: 278px; height: 62px;">

能量最小其实就是P(v, h)联合概率最大，而其他v’相关的p(v’, h)较小，后面这个是归一化因子相关。这块如果理解有问题的，需要补一下RBM相关知识，目前网上资料不少了。

大致的过程为，从输入层开始，不断进行降维，比如左图中的2000维降到1000维， 降维时保证能量最小，也就是输出h和输入v比较一致，而和其他输入v’不一致，换句话说，输出尽量保证输入的信息量。降维从目标上比较类似于PCA，但Hinton在文章说这种方法比PCA效果会好很多，尤其是经过多层压缩的时候（比如784个像素压缩到6个实数），从原理应该也是这样的，RBM每一层都尽量保留了输入的信息。

预训练结束后，就会展开得到中间的解码器，这是一个叠加的过程，也就是下一层RBM的输出作为上一层RBM的输入。

最后再利用真实数据进行参数细调，目标是输入图片经过编码解码后尽量保持原图信息，用的Loss函数是负Log Likelihood：
id="iframe_0.4680289407260716" src="data:text/html;charset=utf8,%3Cimg%20id=%22img%22%20src=%22https://www.52ml.net/wp-content/uploads/2016/08/Likelihood.png?_=5821587%22%20style=%22border:none;max-width:967px%22%3E%3Cscript%3Ewindow.onload%20=%20function%20()%20%7Bvar%20img%20=%20document.getElementById('img');%20window.parent.postMessage(%7BiframeId:'iframe_0.4680289407260716',width:img.width,height:img.height%7D,%20'http://www.cnblogs.com');%7D%3C/script%3E" frameborder="0" scrolling="no" style="border-style: none; border-width: initial; width: 937px; height: 83px;">

这篇在今天看来实用性不太大，难度也不大，但在当时这篇文章看起来还是晦涩的，很多原理没有细讲。为何能中Science？个人认为，毕竟Hinton是神经网络的泰斗，换个人名不见经传的人估计中不了，另外这篇文章也确实使得以前不可能的深层神经网络变得可能了，在今天依然有很多可以借鉴的地方，细心的同学会发现上百或上千层的ResNet的思想在一定程度上和这篇论文是神似的。ResNet也是意识到深层（152层）不好直接训练，那就在单层上想办法，将原来直接优化H(x)改为优化残差F(x) = H(x)-x，其中H(X)是某一层原始的的期望映射输出，x是输入，相当于输入x有个直通车到达该层输出，从而使得单层的训练更加容易。

参考博客：http://www.cnblogs.com/52machinelearning/p/5821587.html

参考资料：

[1] Paper：http://www.cs.toronto.edu/~hinton/science.pdf

[2] 代码：http://www.cs.toronto.edu/~hinton/MatlabForSciencePaper.html

#Deep Learning回顾#之LeNet、AlexNet、GoogLeNet、VGG、ResNet

CNN的发展史

       上一篇回顾讲的是2006年Hinton他们的Science Paper，当时提到，2006年虽然Deep Learning的概念被提出来了，但是学术界的大家还是表示不服。当时有流传的段子是Hinton的学生在台上讲paper时，台下的机器学习大牛们不屑一顾，质问你们的东西有理论推导吗？有数学基础吗？搞得过SVM之类吗？回头来看，就算是真的，大牛们也确实不算无理取闹，是骡子是马拉出来遛遛，不要光提个概念。

       时间终于到了2012年，Hinton的学生Alex Krizhevsky在寝室用GPU死磕了一个Deep Learning模型，一举摘下了视觉领域竞赛ILSVRC 2012的桂冠，在百万量级的ImageNet数据集合上，效果大幅度超过传统的方法，从传统的70%多提升到80%多。个人觉得，当时最符合Hinton他们心境的歌非《我不做大哥好多年》莫属。

       这个Deep Learning模型就是后来大名鼎鼎的AlexNet模型。这从天而降的AlexNet为何能耐如此之大？有三个很重要的原因：

  1. 大量数据，Deep Learning领域应该感谢李飞飞团队搞出来如此大的标注数据集合ImageNet；
  2. GPU，这种高度并行的计算神器确实助了洪荒之力，没有神器在手，Alex估计不敢搞太复杂的模型；
  3. 算法的改进，包括网络变深、数据增强、ReLU、Dropout等，这个后面后详细介绍。

       从此，Deep Learning一发不可收拾，ILSVRC每年都不断被Deep Learning刷榜，如图1所示，随着模型变得越来越深，Top-5的错误率也越来越低，目前降到了3.5%附近，而在同样的ImageNet数据集合上，人眼的辨识错误率大概在5.1%，也就是目前的Deep Learning模型的识别能力已经超过了人眼。而图1中的这些模型，也是Deep Learning视觉发展的里程碑式代表。

id="iframe_0.8471408446785063" src="data:text/html;charset=utf8,%3Cimg%20id=%22img%22%20src=%22https://www.52ml.net/wp-content/uploads/2016/08/imagenethistory.png?_=5821591%22%20style=%22border:none;max-width:967px%22%3E%3Cscript%3Ewindow.onload%20=%20function%20()%20%7Bvar%20img%20=%20document.getElementById('img');%20window.parent.postMessage(%7BiframeId:'iframe_0.8471408446785063',width:img.width,height:img.height%7D,%20'http://www.cnblogs.com');%7D%3C/script%3E" frameborder="0" scrolling="no" style="border-style: none; border-width: initial; width: 721px; height: 395px;">
图1. ILSVRC历年的Top-5错误率

       在仔细分析图1中各模型结构之前我们先需要了解一下深度学习三驾马车之一————LeCun的LeNet网络结构。为何要提LeCun和LeNet，因为现在视觉上这些神器都是基于卷积神经网络（CNN）的，而LeCun是CNN的祖师爷，LeNet是LeCun打造的CNN经典之作。

       LeNet以其作者名字LeCun命名，这种命名方式类似的还有AlexNet，后来又出现了以机构命名的网络结构GoogLeNet、VGG，以核心算法命名的ResNet。LeNet有时也被称作LeNet5或者LeNet-5，其中的5代表五层模型。不过别急，LeNet之前其实还有一个更古老的CNN模型。

最古老的CNN模型

       1985年，Rumelhart和Hinton等人提出了后向传播（Back Propagation，BP）算法[1]（也有说1986年的，指的是他们另一篇paper：Learning representations by back-propagating errors)，使得神经网络的训练变得简单可行，这篇文章在Google Scholar上的引用次数达到了19000多次，目前还是比Cortes和Vapnic的Support-Vector Networks稍落后一点，不过以Deep Learning最近的发展劲头来看，超越指日可待。

       几年后，LeCun利用BP算法来训练多层神经网络用于识别手写邮政编码[2]，这个工作就是CNN的开山之作，如图2所示，多处用到了5*5的卷积核，但在这篇文章中LeCun只是说把5*5的相邻区域作为感受野，并未提及卷积或卷积神经网络。关于CNN最原始的雏形感兴趣的读者也可以关注一下文献[10]。

id="iframe_0.8949917738791555" src="data:text/html;charset=utf8,%3Cimg%20id=%22img%22%20src=%22https://www.52ml.net/wp-content/uploads/2016/08/oldcnn.png?_=5821591%22%20style=%22border:none;max-width:967px%22%3E%3Cscript%3Ewindow.onload%20=%20function%20()%20%7Bvar%20img%20=%20document.getElementById('img');%20window.parent.postMessage(%7BiframeId:'iframe_0.8949917738791555',width:img.width,height:img.height%7D,%20'http://www.cnblogs.com');%7D%3C/script%3E" frameborder="0" scrolling="no" style="border-style: none; border-width: initial; width: 498px; height: 452px;">
图2. 最古老的CNN网络结构图

LeNet

       1998年的LeNet5[4]标注着CNN的真正面世，但是这个模型在后来的一段时间并未能火起来，主要原因是费机器（当时苦逼的没有GPU啊），而且其他的算法（SVM，老实说是你干的吧？）也能达到类似的效果甚至超过。

id="iframe_0.8849724840838462" src="data:text/html;charset=utf8,%3Cimg%20id=%22img%22%20src=%22https://www.52ml.net/wp-content/uploads/2016/08/lenet.png?_=5821591%22%20style=%22border:none;max-width:967px%22%3E%3Cscript%3Ewindow.onload%20=%20function%20()%20%7Bvar%20img%20=%20document.getElementById('img');%20window.parent.postMessage(%7BiframeId:'iframe_0.8849724840838462',width:img.width,height:img.height%7D,%20'http://www.cnblogs.com');%7D%3C/script%3E" frameborder="0" scrolling="no" style="border-style: none; border-width: initial; width: 967px; height: 265px;">
图3. LeNet网络结构

       初学者也可以参考一下Caffe中的配置文件：
https://github.com/BVLC/caffe/blob/master/examples/mnist/lenet.prototxt

AlexNet、VGG、GoogLeNet、ResNet对比

       LeNet主要是用于识别10个手写数字的，当然，只要稍加改造也能用在ImageNet数据集上，但效果较差。而本文要介绍的后续模型都是ILSVRC竞赛历年的佼佼者，这里具体比较AlexNet、VGG、GoogLeNet、ResNet四个模型。如表1所示。

模型名 AlexNet VGG GoogLeNet ResNet
初入江湖 2012 2014 2014 2015
层数 8 19 22 152
Top-5错误 16.4% 7.3% 6.7% 3.57%
Data Augmentation + + + +
Inception(NIN) – – + –
卷积层数 5 16 21 151
卷积核大小 11,5,3 3 7,1,3,5 7,1,3,5
全连接层数 3 3 1 1
全连接层大小 4096,4096,1000 4096,4096,1000 1000 1000
Dropout + + + +
Local Response Normalization + – + –
Batch Normalization – – – +
表1 AlexNet、VGG、GoogLeNet、ResNet对比

AlexNet

       接下里直接上图即可，AlexNet结构图如下：

id="iframe_0.1469477815553546" src="data:text/html;charset=utf8,%3Cimg%20id=%22img%22%20src=%22https://www.52ml.net/wp-content/uploads/2016/08/alexnet.png?_=5821591%22%20style=%22border:none;max-width:967px%22%3E%3Cscript%3Ewindow.onload%20=%20function%20()%20%7Bvar%20img%20=%20document.getElementById('img');%20window.parent.postMessage(%7BiframeId:'iframe_0.1469477815553546',width:img.width,height:img.height%7D,%20'http://www.cnblogs.com');%7D%3C/script%3E" frameborder="0" scrolling="no" style="border-style: none; border-width: initial; width: 940px; height: 296px;">
图4. AlexNet网络结构

       换个视角：

id="iframe_0.6102431381586939" src="data:text/html;charset=utf8,%3Cimg%20id=%22img%22%20src=%22https://www.52ml.net/wp-content/uploads/2016/08/alexnet2.png?_=5821591%22%20style=%22border:none;max-width:967px%22%3E%3Cscript%3Ewindow.onload%20=%20function%20()%20%7Bvar%20img%20=%20document.getElementById('img');%20window.parent.postMessage(%7BiframeId:'iframe_0.6102431381586939',width:img.width,height:img.height%7D,%20'http://www.cnblogs.com');%7D%3C/script%3E" frameborder="0" scrolling="no" style="border-style: none; border-width: initial; width: 245px; height: 375px;">
图5. AlexNet网络结构精简版

       AlexNet相比传统的CNN（比如LeNet）有哪些重要改动呢：
(1) Data Augmentation
       数据增强，这个参考李飞飞老师的cs231课程是最好了。常用的数据增强方法有：

  • 水平翻转
id="iframe_0.47817493975162506" src="data:text/html;charset=utf8,%3Cimg%20id=%22img%22%20src=%22https://www.52ml.net/wp-content/uploads/2016/08/flip.png?_=5821591%22%20style=%22border:none;max-width:967px%22%3E%3Cscript%3Ewindow.onload%20=%20function%20()%20%7Bvar%20img%20=%20document.getElementById('img');%20window.parent.postMessage(%7BiframeId:'iframe_0.47817493975162506',width:img.width,height:img.height%7D,%20'http://www.cnblogs.com');%7D%3C/script%3E" frameborder="0" scrolling="no" style="border-style: none; border-width: initial; width: 311px; height: 188px;">
  • 随机裁剪、平移变换
id="iframe_0.47693105903454125" src="data:text/html;charset=utf8,%3Cimg%20id=%22img%22%20src=%22https://www.52ml.net/wp-content/uploads/2016/08/crop.png?_=5821591%22%20style=%22border:none;max-width:967px%22%3E%3Cscript%3Ewindow.onload%20=%20function%20()%20%7Bvar%20img%20=%20document.getElementById('img');%20window.parent.postMessage(%7BiframeId:'iframe_0.47693105903454125',width:img.width,height:img.height%7D,%20'http://www.cnblogs.com');%7D%3C/script%3E" frameborder="0" scrolling="no" style="border-style: none; border-width: initial; width: 181px; height: 282px;">
  • 颜色、光照变换
id="iframe_0.15620956383645535" src="data:text/html;charset=utf8,%3Cimg%20id=%22img%22%20src=%22https://www.52ml.net/wp-content/uploads/2016/08/jitter.png?_=5821591%22%20style=%22border:none;max-width:967px%22%3E%3Cscript%3Ewindow.onload%20=%20function%20()%20%7Bvar%20img%20=%20document.getElementById('img');%20window.parent.postMessage(%7BiframeId:'iframe_0.15620956383645535',width:img.width,height:img.height%7D,%20'http://www.cnblogs.com');%7D%3C/script%3E" frameborder="0" scrolling="no" style="border-style: none; border-width: initial; width: 460px; height: 280px;">

(2) Dropout

       Dropout方法和数据增强一样，都是防止过拟合的。Dropout应该算是AlexNet中一个很大的创新，以至于Hinton在后来很长一段时间里的Talk都拿Dropout说事，后来还出来了一些变种，比如DropConnect等。

(3) ReLU激活函数

       用ReLU代替了传统的Tanh或者Logistic。好处有：

  1. ReLU本质上是分段线性模型，前向计算非常简单，无需指数之类操作；
  2. ReLU的偏导也很简单，反向传播梯度，无需指数或者除法之类操作；
  3. ReLU不容易发生梯度发散问题，Tanh和Logistic激活函数在两端的时候导数容易趋近于零，多级连乘后梯度更加约等于0；
  4. ReLU关闭了右边，从而会使得很多的隐层输出为0，即网络变得稀疏，起到了类似L1的正则化作用，可以在一定程度上缓解过拟合。

       当然，ReLU也是有缺点的，比如左边全部关了很容易导致某些隐藏节点永无翻身之日，所以后来又出现pReLU、random ReLU等改进，而且ReLU会很容易改变数据的分布，因此ReLU后加Batch Normalization也是常用的改进的方法。

(4) Local Response Normalization
       Local Response Normalization要硬翻译的话是局部响应归一化，简称LRN，实际就是利用临近的数据做归一化。这个策略贡献了1.2%的Top-5错误率。

(5) Overlapping Pooling
       Overlapping的意思是有重叠，即Pooling的步长比Pooling Kernel的对应边要小。这个策略贡献了0.3%的Top-5错误率。

(6) 多GPU并行
       这个不多说，比一臂之力还大的洪荒之力。

VGG

       VGG结构图

id="iframe_0.49336752691306174" src="data:text/html;charset=utf8,%3Cimg%20id=%22img%22%20src=%22https://www.52ml.net/wp-content/uploads/2016/08/vgg.png?_=5821591%22%20style=%22border:none;max-width:967px%22%3E%3Cscript%3Ewindow.onload%20=%20function%20()%20%7Bvar%20img%20=%20document.getElementById('img');%20window.parent.postMessage(%7BiframeId:'iframe_0.49336752691306174',width:img.width,height:img.height%7D,%20'http://www.cnblogs.com');%7D%3C/script%3E" frameborder="0" scrolling="no" style="border-style: none; border-width: initial; width: 721px; height: 734px;">
图6. VGG系列网络结构

       换个视角看看VGG-19：

id="iframe_0.36753624747507274" src="data:text/html;charset=utf8,%3Cimg%20id=%22img%22%20src=%22https://www.52ml.net/wp-content/uploads/2016/08/vgg19.png?_=5821591%22%20style=%22border:none;max-width:967px%22%3E%3Cscript%3Ewindow.onload%20=%20function%20()%20%7Bvar%20img%20=%20document.getElementById('img');%20window.parent.postMessage(%7BiframeId:'iframe_0.36753624747507274',width:img.width,height:img.height%7D,%20'http://www.cnblogs.com');%7D%3C/script%3E" frameborder="0" scrolling="no" style="border-style: none; border-width: initial; width: 232px; height: 863px;">
图7. VGG-19网络结构精简版

       VGG很好地继承了AlexNet的衣钵，一个字：深，两个字：更深。

GoogLeNet


图8. GoogLeNet网络结构

       GoogLeNet依然是：没有最深，只有更深。

       主要的创新在于他的Inception，这是一种网中网（Network In Network）的结构，即原来的结点也是一个网络。Inception一直在不断发展，目前已经V2、V3、V4了，感兴趣的同学可以查阅相关资料。Inception的结构如图9所示，其中1*1卷积主要用来降维，用了Inception之后整个网络结构的宽度和深度都可扩大，能够带来2-3倍的性能提升。

id="iframe_0.7257835646159947" src="data:text/html;charset=utf8,%3Cimg%20id=%22img%22%20src=%22https://www.52ml.net/wp-content/uploads/2016/08/inception.png?_=5821591%22%20style=%22border:none;max-width:967px%22%3E%3Cscript%3Ewindow.onload%20=%20function%20()%20%7Bvar%20img%20=%20document.getElementById('img');%20window.parent.postMessage(%7BiframeId:'iframe_0.7257835646159947',width:img.width,height:img.height%7D,%20'http://www.cnblogs.com');%7D%3C/script%3E" frameborder="0" scrolling="no" style="border-style: none; border-width: initial; width: 696px; height: 359px;">
图9. Inception结构

ResNet

网络结构如图10所示。

id="iframe_0.7751075781416148" src="data:text/html;charset=utf8,%3Cimg%20id=%22img%22%20src=%22https://www.52ml.net/wp-content/uploads/2016/08/resnet.png?_=5821591%22%20style=%22border:none;max-width:967px%22%3E%3Cscript%3Ewindow.onload%20=%20function%20()%20%7Bvar%20img%20=%20document.getElementById('img');%20window.parent.postMessage(%7BiframeId:'iframe_0.7751075781416148',width:img.width,height:img.height%7D,%20'http://www.cnblogs.com');%7D%3C/script%3E" frameborder="0" scrolling="no" style="border-style: none; border-width: initial; width: 487px; height: 526px;">
图10. ResNet网络结构

       ResNet依然是：没有最深，只有更深（152层）。听说目前层数已突破一千。

       主要的创新在残差网络，如图11所示，其实这个网络的提出本质上还是要解决层次比较深的时候无法训练的问题。这种借鉴了Highway Network思想的网络相当于旁边专门开个通道使得输入可以直达输出，而优化的目标由原来的拟合输出H(x)变成输出和输入的差H(x)-x，其中H(X)是某一层原始的的期望映射输出，x是输入。

id="iframe_0.2654342600144446" src="data:text/html;charset=utf8,%3Cimg%20id=%22img%22%20src=%22https://www.52ml.net/wp-content/uploads/2016/08/residual.png?_=5821591%22%20style=%22border:none;max-width:967px%22%3E%3Cscript%3Ewindow.onload%20=%20function%20()%20%7Bvar%20img%20=%20document.getElementById('img');%20window.parent.postMessage(%7BiframeId:'iframe_0.2654342600144446',width:img.width,height:img.height%7D,%20'http://www.cnblogs.com');%7D%3C/script%3E" frameborder="0" scrolling="no" style="border-style: none; border-width: initial; width: 639px; height: 383px;">
图11. ResNet网络结构

总结

Deep Learning一路走来，大家也慢慢意识到模型本身结构是Deep Learning研究的重中之重，而本文回顾的LeNet、AlexNet、GoogLeNet、VGG、ResNet又是经典中的经典。

随着2012年AlexNet的一举成名，CNN成了计算机视觉应用中的不二选择。目前，CNN又有了很多其他花样，比如R-CNN系列。

参考博客：http://www.cnblogs.com/52machinelearning/p/5821591.html

[参考文献]
[1] DE Rumelhart, GE Hinton, RJ Williams, Learning internal representations by error propagation. 1985 – DTIC Document.
[2] Y. LeCun , B. Boser , J. S. Denker , D. Henderson , R. E. Howard , W. Hubbard and L. D. Jackel, “Backpropagation applied to handwritten zip code recognition”, Neural Computation, vol. 1, no. 4, pp. 541-551, 1989.
[3] Kaiming He, Deep Residual Learning, http://image-net.org/challenges/talks/ilsvrc2015_deep_residual_learning_kaiminghe.pdf
[4] Y. LeCun, L. Bottou, Y. Bengio, and P. Haffner. Gradient-based learning applied to document recognition. Proceedings of the IEEE, 86(11):2278–2324, 1998.
[5] A. Krizhevsky, I. Sutskever, and G. Hinton. Imagenet classification with deep convolutional neural networks. In Advances in Neural Information Processing Systems 25, pages 1106–1114, 2012.
[6] Christian Szegedy, Wei Liu, Yangqing Jia, Pierre Sermanet, Scott E. Reed, Dragomir Anguelov, Dumitru Erhan, Vincent Vanhoucke, Andrew Rabinovich: Going deeper with convolutions. CVPR 2015: 1-9
[7] Karen Simonyan, Andrew Zisserman: Very Deep Convolutional Networks for Large-Scale Image Recognition. CoRR abs/1409.1556 (2014)
[8] Kaiming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sun. Deep Residual Learning for Image Recognition. IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2016
[9] 一些对应的caffe实现或预训练好的模型： https://github.com/BVLC/caffe https://github.com/BVLC/caffe/wiki/Model-Zoo
[10] K. Fukushima. Neocognitron: A self-organizing neural network model for a mechanism of pattern recognition unaffected by shift in position. Biological Cybernetics, 36(4): 93-202, 1980.

卷积神经网络CNN经典模型整理Lenet，Alexnet，Googlenet，VGG，Deep Residual Learning

关于卷积神经网络CNN，网络和文献中有非常多的资料，我在工作/研究中也用了好一段时间各种常见的model了，就想着简单整理一下，以备查阅之需。如果读者是初接触CNN，建议可以先看一看“Deep Learning（深度学习）学习笔记整理系列”中关于CNN的介绍[1]，是介绍我们常说的Lenet为例，相信会对初学者有帮助。

  1. Lenet，1986年
  2. Alexnet，2012年
  3. GoogleNet，2014年
  4. VGG，2014年
  5. Deep Residual Learning，2015年

Lenet

就从Lenet说起，可以看下caffe中lenet的配置文件（点我），可以试着理解每一层的大小，和各种参数。由两个卷积层，两个池化层，以及两个全连接层组成。 卷积都是5*5的模板，stride=1，池化都是MAX。下图是一个类似的结构，可以帮助理解层次结构（和caffe不完全一致，不过基本上差不多）

Alexnet

2012年，Imagenet比赛冠军的model——Alexnet [2]（以第一作者alex命名）。caffe的model文件在这里。说实话，这个model的意义比后面那些model都大很多，首先它证明了CNN在复杂模型下的有效性，然后GPU实现使得训练在可接受的时间范围内得到结果，确实让CNN和GPU都大火了一把，顺便推动了有监督DL的发展。

模型结构见下图，别看只有寥寥八层（不算input层），但是它有60M以上的参数总量，事实上在参数量上比后面的网络都大。

这个图有点点特殊的地方是卷积部分都是画成上下两块，意思是说吧这一层计算出来的feature map分开，但是前一层用到的数据要看连接的虚线，如图中input层之后的第一层第二层之间的虚线是分开的，是说二层上面的128map是由一层上面的48map计算的，下面同理；而第三层前面的虚线是完全交叉的，就是说每一个192map都是由前面的128+128=256map同时计算得到的。

Alexnet有一个特殊的计算层，LRN层，做的事是对当前层的输出结果做平滑处理。下面是我画的示意图：

前后几层（对应位置的点）对中间这一层做一下平滑约束，计算方法是：

具体打开Alexnet的每一阶段（含一次卷积主要计算）来看[2][3]：

（1）con - relu - pooling - LRN

具体计算都在图里面写了，要注意的是input层是227*227，而不是paper里面的224*224，这里可以算一下，主要是227可以整除后面的conv1计算，224不整除。如果一定要用224可以通过自动补边实现，不过在input就补边感觉没有意义，补得也是0。

（2）conv - relu - pool - LRN

和上面基本一样，唯独需要注意的是group=2，这个属性强行把前面结果的feature map分开，卷积部分分成两部分做。

（3）conv - relu

（4）conv-relu

（5）conv - relu - pool

（6）fc - relu - dropout

这里有一层特殊的dropout层，在alexnet中是说在训练的以1/2概率使得隐藏层的某些neuron的输出为0，这样就丢到了一半节点的输出，BP的时候也不更新这些节点。 
（7） 
fc - relu - dropout 

（8）fc - softmax 

以上图借用[3]，感谢。

GoogleNet

googlenet[4][5]，14年比赛冠军的model，这个model证明了一件事：用更多的卷积，更深的层次可以得到更好的结构。（当然，它并没有证明浅的层次不能达到这样的效果）

这个model基本上构成部件和alexnet差不多，不过中间有好几个inception的结构：

是说一分四，然后做一些不同大小的卷积，之后再堆叠feature map。

计算量如下图，可以看到参数总量并不大，但是计算次数是非常大的。 

VGG

VGG有很多个版本，也算是比较稳定和经典的model。它的特点也是连续conv多，计算量巨大（比前面几个都大很多）。具体的model结构可以参考[6]，这里给一个简图。基本上组成构建就是前面alexnet用到的。 

下面是几个model的具体结构，可以查阅，很容易看懂。

Deep Residual Learning

这个model是2015年底最新给出的，也是15年的imagenet比赛冠军。可以说是进一步将conv进行到底，其特殊之处在于设计了“bottleneck”形式的block（有跨越几层的直连）。最深的model采用的152层！！下面是一个34层的例子，更深的model见表格。 
 
其实这个model构成上更加简单，连LRN这样的layer都没有了。

block的构成见下图：

总结

OK，到这里把常见的最新的几个model都介绍完了，可以看到，目前cnn model的设计思路基本上朝着深度的网络以及更多的卷积计算方向发展。虽然有点暴力，但是效果上确实是提升了。当然，我认为以后会出现更优秀的model，方向应该不是更深，而是简化。是时候动一动卷积计算的形式了。

参考博客：http://blog.csdn.net/xbinworld/article/details/45619685

参考资料

[1] http://blog.csdn.net/zouxy09/article/details/8781543/ 
[2] ImageNet Classification with Deep Convolutional Neural Networks 
[3] http://blog.csdn.net/sunbaigui/article/details/39938097 
[4] http://blog.csdn.net/csyhhb/article/details/45967291 
[5] Going deeper with convolutions 
[6] VERY DEEP CONVOLUTIONAL NETWORKS FOR LARGE-SCALE IMAGE RECOGNITION

【卷积神经网络-进化史】从LeNet到AlexNet

本系列博客是对刘昕博士的《CNN的近期进展与实用技巧》的一个扩充性资料。

主要讨论CNN的发展，并且引用刘昕博士的思路，对CNN的发展作一个更加详细的介绍，将按下图的CNN发展史进行描述：

上图所示是刘昕博士总结的CNN结构演化的历史，起点是神经认知机模型，此时已经出现了卷积结构，经典的LeNet诞生于1998年。然而之后CNN的锋芒开始被SVM等手工设计的特征盖过。随着ReLU和dropout的提出，以及GPU和大数据带来的历史机遇，CNN在2012年迎来了历史突破–AlexNet.

CNN的演化路径可以总结为以下几个方向：

  • 从LeNet到AlexNet
  • 进化之路一：网络结构加深
  • 进化之路二：加强卷积功能
  • 进化之路三：从分类到检测
  • 进化之路四：新增功能模块

本系列博客将对CNN发展的四条路径中最具代表性的CNN模型结构进行讲解。

以上是关于卷积神经网络大总结的主要内容，如果未能解决你的问题，请参考以下文章

Resnet残差网络|卷积神经网络|原理|新人总结

总结 | 卷积神经网络必读的40篇经典论文，包含检测/识别/分类/分割多个领域...

卷积神经网络CNN总结

深度学习总结

卷积神经网络：总结

卷积神经网络实战经验总结