PyTorh笔记 - LN: Layer Normalization
Posted SpikeKing
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了PyTorh笔记 - LN: Layer Normalization相关的知识,希望对你有一定的参考价值。
欢迎关注我的CSDN:https://blog.csdn.net/caroline_wendy
本文地址:https://blog.csdn.net/caroline_wendy/article/details/128408894
Paper: Layer Normalization
- 2016.7.21, NIPS 2016, Jimmy Lei Ba, University of Toronto(多伦多)
Normalization可以降低训练时间。
Batch Normalization,计算mini-batch的均值和方差,在FFN(Feed Forward Neural Networks)中,显著降低训练时间。
Layer Normalization,对于单个single样本进行归一化,增加两个学习量,gain和bias(偏置),同时,训练和测试的表现是一致的,与BN不同。
LN直接使用到RNN(Recurrent Neural Networks),显著的降低训练时间。
FFN类似于: a i l
以上是关于PyTorh笔记 - LN: Layer Normalization的主要内容,如果未能解决你的问题,请参考以下文章
PyTorh笔记 - LN: Layer Normalization
深度学习方法(十六):Batch Normalization及其变种——Layer Norm, Group Norm,Weight Norm等
将 GCC 9.3.0 降级到 7 以用于 openpose 后,cuda_compile_1_generated_batch_norm_layer.cu.o.Release.cmake 出现 CMa