resnet 有全连接层吗？

Posted 2023-03-15

【中文标题】resnet 有全连接层吗？

【英文标题】：Does resnet have fully connected layers?

【发布时间】：2017-12-09 01:51:30

【问题描述】：

据我了解，全连接层（简称fc）用于预测。

例如，VGG Net 使用了 2 个 fc 层，它们都是 4096 维。 softmax 的最后一层的维度与类 num:1000 相同。

但是对于resnet，它使用了全局平均池化，并使用最后一个卷积层的池化结果作为输入。

但他们仍然有一个 fc 层！这层真的是fc层吗？或者这一层只是将输入输入到一个数字是类号的特征向量中？这层有预测结果的功能吗？

一句话，resnet和VGGnet有多少个fc层？ VGGnet的1st 2nd 3rd fc层有不同的功能吗？

【参考方案1】：

VGG 有三个 FC 层，两个有 4096 个神经元，一个有 1000 个神经元，输出类别概率。

ResNet 只有一个具有 1000 个神经元的 FC 层，它再次输出类别概率。在 NN 分类器中，最好的选择始终是使用 softmax，一些作者在图中明确说明了这一点，而另一些则没有。

【参考方案2】：

本质上，微软 (ResNet) 的人更喜欢更多的卷积层而不是全连接层，因此省略了全连接层。 GlobalAveragePooling 还显着减小了特征大小，因此减少了从卷积部分到全连接部分的参数数量。

我认为性能差异非常小，但通过引入 ResNet，他们的主要成就之一是参数的显着减少，这两点帮助他们实现了这一点。