批归一化层和演化归一化激活层有啥用

Posted 2023-03-29

【中文标题】批归一化层和演化归一化激活层有啥用

【英文标题】：What is the use of Batch Normalization Layer and Evolving normalization activation layers批归一化层和演化归一化激活层有什么用

【发布时间】：2020-10-23 15:32:35

【问题描述】：

何时决定我们需要一个批处理层或演化层，我们如何决定它？ 我目前正在使用 PyTorch，我想了解如何决定添加哪个层？

【参考方案1】：

这里的一般答案是尝试所有这些并选择在验证方面表现最好的一个。

至于this paper 的 EvoNorm，这取决于您的问题。作者用有限的模型集测试了分类问题的新层。图像合成效果不如分类效果。

在我看来，batchnorm 是构建基线解决方案的一个很好的起点，因为它经过时间考验，然后尝试更高级的东西。