神经网络-初始化参数

Posted 2021-03-16 yanshw

初始化 w b，其实并没有特别统一的规定，只是有一些经验，而这些经验并没有被严格证明，所以不保证一定有效；

假设我们选择 sigmoid 为激活函数，我们需要把 sigmoid 的输入定格于 0 附近，因为这里梯度比较明显；

换句话说就是要把 wx+b 的值置于 0 左右，这样才不容易梯度消失；

 

核心思想与方法

w 的初始化原则，即保证 wx+b 在 0 附近，

1. 一般采用 std 很小的截断的正态分布

2. 也可根据一些经验，其原理也是一样的，稍微麻烦点，如下

 

潜在问题

上述方式的问题在于，刚开始是保证了 wx+b 在 0 附近，但是训练一段时间后，无法保证还在 0 附近，所以也是一种理想化方法