PyTorh笔记 - LN: Layer Normalization
Posted SpikeKing
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了PyTorh笔记 - LN: Layer Normalization相关的知识，希望对你有一定的参考价值。
欢迎关注我的CSDN：https://blog.csdn.net/caroline_wendy
本文地址：https://blog.csdn.net/caroline_wendy/article/details/128408894
Paper: Layer Normalization
- 2016.7.21, NIPS 2016, Jimmy Lei Ba, University of Toronto(多伦多)
Normalization可以降低训练时间。
Batch Normalization，计算mini-batch的均值和方差，在FFN(Feed Forward Neural Networks)中，显著降低训练时间。
Layer Normalization，对于单个single样本进行归一化，增加两个学习量，gain和bias(偏置)，同时，训练和测试的表现是一致的，与BN不同。
LN直接使用到RNN(Recurrent Neural Networks)，显著的降低训练时间。
FFN类似于： a i l
以上是关于PyTorh笔记 - LN: Layer Normalization的主要内容，如果未能解决你的问题，请参考以下文章