Batch Normalization 与Dropout 的冲突
Posted cbattle
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Batch Normalization 与Dropout 的冲突相关的知识,希望对你有一定的参考价值。
BN或Dropout单独使用能加速训练速度并且避免过拟合
但是倘若一起使用,会产生负面效果。
BN在某些情况下会削弱Dropout的效果
对此,BN与Dropout最好不要一起用,若一定要一起用,有2中方法:
1 在所有BN层后使用Dropout
2 修改Dropout公式(如使用高斯Dropout)使得它对方差不是那么敏感
总体思路是降低方差偏移
reference
https://zhuanlan.zhihu.com/p/33101420
以上是关于Batch Normalization 与Dropout 的冲突的主要内容,如果未能解决你的问题,请参考以下文章
BN(Batch Normalization) 原理与使用过程详解
CS231n笔记4-Data Preprocessing, Weights Initialization与Batch Normalization