深度学习经典网络总结

Posted jiangshaoyin

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了深度学习经典网络总结相关的知识,希望对你有一定的参考价值。

深度学习经典网络总结

最近看的4篇经典深度学习的paper,总结一下。

一、AlexNet

(一)成绩

多伦多大学alex团队ILSVRC-2012冠军网络

(二)网络结构

5层卷积 + 3层全连接

 技术图片

 

(三)网络特色

1、局部响应归一化(LRN:Local Response Normalization)

当前通道当前点的像素值/(相邻 通道数/2 的不同特征图上对应的同一点,像素值的平方和)

当该通道和邻近通道像素绝对值都比较大的时候,归一化后值变得更小。

采用这种方法,在ImageNet数据集1000分类的测试上,top-1错误率降低了 1.4%,top-5错误率降低了 1.2%(其他网络上发现这种方法好像没多少用处)

2. 重叠池化

(1)常规池化

 技术图片

 

(2)重叠池化

相邻池化窗口之间会有重叠区域

 技术图片

 

练过程中通常观察采用重叠池化的模型,发现它更难过拟合。

3.减少过拟合

(1)数据增强

在GPU训练模型时,用cpu 随机裁剪 + 翻转 + 旋转原始图像 + RGB替换,产生新的数据,GPU + CPU并行工作,没有占用额外的时间。

(2)采用dropout

随机忽略一部分神经元,(以0.5的概率对每个隐层神经元的输出设为0。那些“失活的”的神经元不再进行前向传播并且不参与反向传播)

思想是利用集成法,计算多个模型,综合考虑结果(MAX,MEAN,etc)。只不过实现方式在一个模型内部实现,而不是真的训练了多个模型。

 

二、VGG

Visual Geometry Group牛津大学计算机视觉组

(一)成绩

ILSVRC-2014亚军

1.单网络分类精度方面最优。

 技术图片

 

2.多网络( 融合了VGG16和VGG19两个模型,相比于融合了7个模型的googlenet仅仅落后0.1%)

 技术图片

 

(二)网络结构

1.网络配置

评估有6个网络,层数依次加深

技术图片

 

2.网络示例图

 技术图片

 

(三)网络特色

1.采用更小的卷积核,网络层数更深

VGG相比于AlexNet的改动在于,VGG采用连续的几个3x3的卷积核代替AlexNet中的较大卷积核(11x11,7x7,5x5)

VGG发现,同样感受野的情况下,小的conv filter优于具有大filter的网络,在网络B中进行实测,2个3*3的conv与 1个5 * 5的conv具有相同的感受野。

技术图片

 

但是前者性能高于后者7%。堆积的小卷积核优于采用大的卷积核, 因为每过1个小的卷积核,后面接着一个RELU非线性激活层。这可以学习到更复杂的模式。 而且代价还比较小(参数更少5x5 > 2 * 3x3

2.采用Network In Network1*1结构

传统网络一般是由:线性卷积池化层+全连接层堆叠起来。卷积层通过线性滤波器进行线性卷积运算,然后在接个非线性激活函数,传给下一层

NIN在原来的卷积层后面加一个1*1的卷积层,而不改变输出的size。每一个1*1卷积层后面都会跟上ReLU。所以,相当于网络变深了,可以学习到更复杂的模式.

 技术图片

 

全连接层相当于1*1卷积层

 技术图片

 

3. ps

(1)VGGNet的结构简洁,整个网络都使用了同样大小的卷积核尺寸(3x3)和最大池化尺寸(2x2)。验证了通过不断加深网络结构可以提升性能。

(2)A-LRN验证了局部均一化作用不大

 技术图片

 

A与A_LRN网络测试结果。

 技术图片

 

(3)网络参数过多,计算量大(并不是小卷积核的锅,3个全连接层占据了80%的参数)

三、GoogleNet

(一)网络成绩

ILSVRC-2014冠军

技术图片

 

 

(二)网络结构

 

 技术图片

 

(三)网络特色

1. inception结构

采用不同大小的卷积核,意味着不同大小的感受野,将不同尺度特征的融合可以取得更好的学习效果。

 技术图片

 

2.shotcut直连

改善了梯度消失问题。

技术图片

 

以上是关于深度学习经典网络总结的主要内容,如果未能解决你的问题,请参考以下文章

深度学习网络模型介绍及实战

CV开山之作:《AlexNet》深度学习图像分类经典论文总结学习笔记(原文+总结)

CV开山之作:《AlexNet》深度学习图像分类经典论文总结学习笔记(原文+总结)

经典深度学习框架

经典深度学习框架

经典深度学习框架