BatchNormalization批量归一化
Posted wzdly
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了BatchNormalization批量归一化相关的知识，希望对你有一定的参考价值。
动机：
防止隐层分布多次改变，BN让每个隐层节点的激活输入分布缩小到-1和1之间.
好处：
缩小输入空间，从而降低调参难度；防止梯度爆炸/消失，从而加速网络收敛.
BN计算公式：
以上是关于BatchNormalization批量归一化的主要内容，如果未能解决你的问题，请参考以下文章
批量归一化Batch Normalization 动手学深度学习v2
深度学习面试题21：批量归一化(Batch Normalization,BN)
Hulu机器学习问题与解答系列 | 二十三：神经网络训练中的批量归一化