IN与BN

Posted 2021-03-19 rainsoul

https://www.zhihu.com/question/68730628/answer/277339783

Batch Normalization是指6张图片中的每一张图片的同一个通道一起进行Normalization操作。而Instance Normalization是指单张图片的单个通道单独进行Noramlization操作。

从C方向看过去是指一个个通道，从N看过去是一张张图片。每6个竖着排列的小正方体组成的长方体代表一张图片的一个feature map。蓝色的方块是一起进行Normalization的部分

四.算法的过程

4.1 BN

• 沿着通道计算每个batch的均值u
• 沿着通道计算每个batch的方差σ^2
• 对x做归一化，x’=(x-u)/开根号(σ^2+ε)
• 加入缩放和平移变量γ和β ,归一化后的值，y=γx’+β

4.2 IN

• 沿着通道计算每张图的均值u
• 沿着通道计算每张图的方差σ^2
• 对x做归一化，x’=(x-u)/开根号(σ^2+ε)
• 加入缩放和平移变量γ和β ,归一化后的值，y=γx’+β

 

作者：向东
链接：https://www.zhihu.com/question/68730628/answer/607608890
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。