LeNet5、AlexNet、VGG-16、GoogLeNet、ResNet50原理及其结构

Posted 2023-02-27

参考技术A 论文地址： Gradient-based learning applied to document recognition

论文地址： ImageNet Classification with Deep Convolutional Neural Networks

  AlexNet由5个卷积层和3个全连接层组成（不包含池化层）。是2012年ImageNet ILSVRC的冠军。在原始的论文中，因为使用了2个GPU进行了计算，所以将整个网络分成了上下两部分，在下文结构的解释中，我们就不单独分开了，就直接合起来进行描述。如果想看分两组讨论的，有一个另外的参考博客： 神经网络之AlexNet

AlexNet 引入了激活函数relu，除了最后一层是softmax以外，其他的激活函数都是relu。引入的局部响应归一化在后续的研究中证明并无太大的作用，一般都是用的BN，所以这里不详细研究这个了。

论文地址： Very Deep Convolutional Networks for Large-Scale Image Recognition

  VGG16相比AlexNet的一个改进是采用连续的几个3x3的卷积核代替AlexNet中的较大卷积核（11x11，5x5）。对于给定的感受野（与输出有关的输入图片的局部大小），采用堆积的小卷积核是优于采用大的卷积核，因为多层非线性层可以增加网络深度来保证学习更复杂的模式，而且代价还比较小（参数更少）。简单来说，在VGG中，使用了3个3x3卷积核来代替5x5卷积核，使用了2个3x3卷积核来代替11*11卷积核，这样做的主要目的是在保证具有相同感知野的条件下，提升了网络的深度，在一定程度上提升了神经网络
的效果。
  其中16表示由13个卷积层和3个全连接层组成。

  结构图1说明了其中卷积层的参数，结构图2说明了每一层的输出层的参数，图三说明了具体的参数过程。

写的太累了，不想写了，有时间再吧后面的两个模型搞详细点。