深度学习之参数初始化——Xavier初始化

Posted 2022-08-16 Vic时代

Understanding the difficulty of training deep feedforward neural networks
by Xavier Glorot, Yoshua Bengio in AISTATS 2010.

本文介绍一下深度学习参数初始化问题中耳熟能详的参数初始化方法——Xavier（发音[‘zeɪvɪr]）初始化。

大家应该感觉到一般的深度学习文章上来就是实验，告诉读者这个实验结果好，然后由实验结果再反向给出一些无从验证的可能对可能不对的原因。而这篇文章虽然整体来看比较简单，但结构非常严谨：首先通过实验分析标准初始化方法的问题；然后根据两个目标——状态方差和梯度方差保持不变推导出参数的特点，给出Xavier初始化方法的具体形式；最后通过实验验证Xavier初始化的效果确实不错。

在开始阅读下面的内容之前，我们需要牢记参数初始化的目的是为了让神经网络在训练过程中学习到有用的信息，这意味着参数梯度不应该为0。而我们知道在全连接的神经网络中，参数梯度和反向传播得到的状态梯度以及入激活值有关——激活值饱和会导致该层状态梯度信息为0，然后导致下面所有层的参数梯度为0；入激活值为0会导致对应参数梯度为0。所以如果要保证参数梯度不等于0，那么参数初始化应该使得各层激活值不会出现饱和现象且激活值不为0。我们把这两个条件总结为参数初始化条件：

• 初始化必要条件一：各层激活值不会出现饱和现象。
• 初始化必要条件二：各层激活值不为0。

需要说明的是这篇论文只研究了解决分类问题的5层的全连接神经网络，每个隐层的神经元个数为1000，并且仅探讨了三种激活函数：sigmoid、tanh、softsign。

标准初始化方法

形式

把权重矩阵初始化为如下形式：

$$W_ij \\sim U[-\\frac1\\sqrt n, \\frac1\\sqrt n] \\tag 1,$$

其中$U[-a, a]$是区间$(-a, a)$上的均匀分布，$n$是入神经网络的大小。易知 $$Var(W_ij)=\\frac13n \\tag 2$$

在深入介绍标准初始化之前，首先给出随机变量方差的两个性质：

• 假设随机变量$X$和随机变量$Y$相互独立，则有
  $$Var(X+Y)=Var(X)+Var(Y) \\tag3$$
• 假设随机变量$X$和随机变量$Y$相互独立，且$E(X)=E(Y)=0$，则有
  $$Var(XY)=Var(X)Var(Y) \\tag 4$$

神经网络的隐层状态计算表达式：

$$\\bfz^i = W^i \\bfh^i-1, i=0, 1,\\dots. \\tag 5$$
其中 $$\\bf h^0=\\bf x$$
激活值计算表达式：
$$\\bfh^i = f(\\bf z^i), i=1,2,\\dots. \\tag 6$$

论文中的符号和我的有些区别：论文中用$\\bf z$表示激活值，$\\bf s$表示状态值。我这里按自己的习惯来写。

现在把输入$\\bf x$的每一维度$x$看做一个随机变量，并且假设$E(x)=0$，$Var(x)=1$。假设$W$和$x$相互独立，则隐层状态的方差为

Var(zk)=====Var(一文搞懂深度网络初始化（Xavier and Kaiming initialization）

深度学习之构造模型，访问模型参数——2020.3.11

深度学习之二：神经网络的实践与优化

深度学习之梯度下降法

深度学习训练时的调参技巧

深度学习中Xavier初始化