PyTorh笔记 - LN: Layer Normalization

Posted 2023-03-03 SpikeKing

欢迎关注我的CSDN：https://blog.csdn.net/caroline_wendy
本文地址：https://blog.csdn.net/caroline_wendy/article/details/128408894

Paper: Layer Normalization

• 2016.7.21, NIPS 2016, Jimmy Lei Ba, University of Toronto(多伦多)

Normalization可以降低训练时间。

Batch Normalization，计算mini-batch的均值和方差，在FFN(Feed Forward Neural Networks)中，显著降低训练时间。

Layer Normalization，对于单个single样本进行归一化，增加两个学习量，gain和bias(偏置)，同时，训练和测试的表现是一致的，与BN不同。

LN直接使用到RNN(Recurrent Neural Networks)，显著的降低训练时间。

FFN类似于： a i l