深度神经网络跳过连接实现为求和与连接？ [关闭]

Posted 2023-03-12

【中文标题】深度神经网络跳过连接实现为求和与连接？ [关闭]

【英文标题】：Deep neural network skip connection implemented as summation vs concatenation? [closed]

【发布时间】：2018-08-16 06:46:21

【问题描述】：

在深度神经网络中，我们可以实现跳过连接来帮助：

解决梯度消失问题，训练更快

网络学习低级和高级特征的组合

在最大池化等下采样期间恢复信息丢失。

https://medium.com/@mikeliao/deep-layer-aggregation-combining-layers-in-nn-architectures-2744d29cab8

但是，我阅读了一些源代码，一些将跳过连接实现为串联，一些实现为求和。所以我的问题是这些实现中的每一个都有什么好处？

【参考方案1】：

基本上，差异取决于最终层受中间特征影响的不同方式。

使用元素求和的跳跃连接的标准架构（例如ResNet）在某种程度上可以被视为迭代估计过程（例如参见this work），其中通过各个层来细化特征网络。这种选择的主要好处是它可以工作并且是一个紧凑的解决方案（它保持一个块中的特征数量固定）。

具有级联跳过连接的架构（例如DenseNet）允许后续层重用中间表示，保留更多信息，从而获得更好的性能。除了特征重用之外，另一个结果是隐式深度监督（如this work），它允许更好的梯度传播通过网络，尤其是对于深度监督（实际上它已用于Inception 架构）。

显然，如果设计不当，连接特征会导致参数呈指数增长（这部分解释了您指出的工作中使用的分层聚合），并且根据问题，使用大量信息可能导致过度拟合。

【讨论】：

非常感谢。答案很详细。