Batch Normalization 与Dropout 的冲突

Posted cbattle

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Batch Normalization 与Dropout 的冲突相关的知识,希望对你有一定的参考价值。

 

  BN或Dropout单独使用能加速训练速度并且避免过拟合

  但是倘若一起使用,会产生负面效果。

  BN在某些情况下会削弱Dropout的效果

  

  对此,BN与Dropout最好不要一起用,若一定要一起用,有2中方法:

    1 在所有BN层后使用Dropout

    2 修改Dropout公式(如使用高斯Dropout)使得它对方差不是那么敏感

    总体思路是降低方差偏移

 

reference

  https://zhuanlan.zhihu.com/p/33101420

以上是关于Batch Normalization 与Dropout 的冲突的主要内容,如果未能解决你的问题,请参考以下文章

BN(Batch Normalization) 原理与使用过程详解

batch-normalization 批标准化

CS231n笔记4-Data Preprocessing, Weights Initialization与Batch Normalization

科普丨神经网络算法Batch Normalization的分析与展望

BN(batch Normalization)笔记

特征缩放和Batch Normalization