权重初始化的常见方法

Posted 2020-12-01 happytaiyang

1.把w初始化为0

在神经网络中，把w初始化为0是不可以的。这是因为如果把w初始化0，那么每一层的神经元学到的东西都是一样的（输出是一样的），而且在bp的时候，每一层内的神经元也是相同的，因为他们的gradient相同。

2.对w随机初始化

初始化容易出现梯度消失或者梯度爆炸的问题。

3.Xavier initialization 

基本思想：保证输入和输出的方差一致，这样就可以避免所有输出值都趋向于0。虽然刚开始的推导基于线性函数，但是在一些非线性神经元也很有效。比较适合tanh

4.He initialization

权重的初始化方法是将Xavier初始化的方差乘以2。适合rule激活函数。