什么时候神经网络可以接受任意的输入？

Posted 2022-12-04 刘二毛

首先要搞清楚这个事情的源头，

在迁移学习中，要进行模型迁移，一般都会把预训练模型的后面的全连接层去掉，然后用新的数据集训练，得到自己特色的模型。我们知道卷积其实是体征提取的过程，图像再进行卷积的时候，因为每一个卷积核中权值都是共享的，因此无论输入图像的尺寸是多大的都可以都是按照步长滑动做卷积，只不过都是经过卷积运算，不同大小的输入图片提取出的卷积特征的大小也是不同的。所以卷积层很友好，它是不会限制网络的输入大小的。

然后再来看看全连接层，全连接层一般负责分类或者回归其次，如果网络中含有全连接层的话，现在假设之前输入的图像都是一样大小的，经过卷积得到特征的尺寸也都是相同的，比如说是a×b，之后接一个1×c的全连接层，那么你现在卷积层的输出与全连接层之间的权重矩阵的大小为(a×b)×c.但是现在你如果你输入了一张比原来输入大的图像，这个时候你得卷积输出会为a‘×b’，如果它还要和全连接层相连接的话，权重矩阵的大小为(a‘×b’)×c，很明显与原来的权重矩阵不一样大，所以也就无法使用和训练了。

那不可能在每次输入的时候由于全连接层的存在就把输入图像归一化吧，其实还有别的方法，那就是fcn。原来全连接层也可以看成一种卷积层：如果输入是n x c x h x w，全连接层输出为d个的话，那它等价于有d个卷积核为h x w的卷积层，也就是将滤波器的尺寸设置为何输入数据体的尺寸一致，这也是FCN的原理。