Deep CNN 和 Dense CNN 的区别

Posted 2023-03-12

【中文标题】Deep CNN 和 Dense CNN 的区别

【英文标题】：Difference between Deep CNN and Dense CNN

【发布时间】：2019-08-19 18:35:20

【问题描述】：

我知道这可能是一个愚蠢的问题，但我对机器学习和 ANN 有点陌生。

深度卷积神经网络和密集卷积神经网络有什么区别吗？

提前致谢！

【问题讨论】：

我投票结束这个问题，因为它与编程无关

没有密集的CNN...

【参考方案1】：

Dense CNN 是一种 Deep CNN，其中每一层都与比自身更深的另一层相连。

这是什么意思？

在普通的 CNN 中，每一层都只连接到它的兄弟姐妹。考虑 4 层，L1 的输出只连接到 L2，L2 的输出只连接到 L3，L3 的输出只连接到 L4。

在一个密集的 CNN 中，考虑 4 层，L1 的输出连接到 L2、L3、L4，L2 的输出连接到 L3、L4，L3 的输出连接到 L4。

这里有一张图来说明它（图片来源来自this论文）：

为什么我们需要这样做？

如今，我们拥有 100 层甚至更多层的神经网络。使用反向传播训练神经网络。在该算法中，成本函数的梯度（导数）用于更新每一层的权重。对于每个新层，梯度的值都会减小，特别是在使用 sigmoid 时。这会导致训练时间更长，有时甚至根本不训练。这个问题也被称为梯度消失。 Dense CNN 中的直接连接解决了这个问题。

与普通 CNN 相比，密集 CNN 也不太容易过拟合。

更多阅读this论文，很容易理解。