层归一化和批次归一化学习

Posted bluebluesea

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了层归一化和批次归一化学习相关的知识,希望对你有一定的参考价值。

1.层归一化

//原来是2016年就已经提出来的啊!

https://www.zhihu.com/question/48820040

https://zhuanlan.zhihu.com/p/54530247

 

 

2.Transformer中为什么使用层归一化?而不是其他

https://www.zhihu.com/question/395811291

 

3.各种归一化normalization详解

 

 

4.归一化对神经网络的作用?

https://www.zhihu.com/question/326034346

 

以上是关于层归一化和批次归一化学习的主要内容,如果未能解决你的问题,请参考以下文章

深度学习:批归一化和层归一化Batch NormalizationLayer Normalization

我可以将层归一化与 CNN 一起使用吗?

scikit 中的归一化学习 linear_model

学习笔记TF014:卷积层激活函数池化层归一化层高级层

归一化和标准化的一些理解

聊聊 归一化和标准化