梯度下降法与反向传播

Posted 2022-11-13 Vinicier

梯度下降法与反向传播

主要内容：

梯度下降法

1. 最优化
2. 梯度下降

反向传播

1. 梯度与偏导
2. 链式法则
3. 直观理解
4. Sigmoid 例子

1. 梯度下降（Gradient descent）

初始权重不要都置为0，可用高斯分布。 随机初始化的目的是使对称失效。如果所有权重初始化为相同初始值，那么所有的隐藏层单元最终会得到与输入值相关的、相同的函数。

import numpy as np
W = np.random.randn(m,n) * 0.001 # 正态分布随机数

在多维变量函数中，函数在某一点的切线的斜率（存在多个，如三维中所有切线组成一个切面）就是方向导数；梯度是一个矢量，其方向上的方向导数最大，其大小正好就是此最大方向导数。

数值梯度：由导数的定义来求解梯度，再迭代更新。特点是不容易出错，但是计算复杂，速度慢。

$$grad =\\fracf(x+h)-f(x)h$$

解析梯度

：由损失函数计算对应的偏导解析式，再由解析式迭代计算梯度。 特点是

计算速度很快

，但是

容易出错

。
$$\\frac\\partial f\\partial x$$

梯度下降迭代

：

# 很多神经网络库的核心迭代代码
while True:
    weights_grad = evaluate_gradient(loss_fun,data,weights)
    weights += - step_size * weights_grad # 梯度下降更新权重参数    

梯度检查\\检测：可以选取部分样例先计算解析梯度和数值梯度，对比较结果和校正，然后采取解析梯度大胆进行解析计算，这个过程就叫做梯度检查。

Mini-Bacth： 对整个训练数据集的样本都算一篇损失函数，以完成参数的迭代是一件非常耗时的事情。通常的做法是采样出一个子集在其上计算梯度。

while True:
    data_batch = sample_training_data(data,256) # 抽样256个样本作为一个batch
    weights_grad = evaluate_gradient(loss_fun,data_batch,weights)
    weights += - step_size * weights_grad # 更新权重参数    

2. 反向传播（Backpropagation）

链式法则：若函数 $u=\\psi(t)$ ， $v=\\phi(t)$ 在点 $t$可导， $z= f(u,v)$ ，有

$$\\frac\\partial z\\partial t = \\frac\\partial z\\partial u \\frac\\partial u\\partial t + \\frac\\partial z\\partial v \\frac\\partial v\\partial t$$

Sigmoid 函数

：
$$f(x) = \\frac11+e^-x$$
其

导数

：
$$f\'(x) = f(x)(1-f(x))$$

2.1 神经网络推导

前向传播

如图所示，是一个神经网络模型，每个圆圈代表一个神经元，标上 “$+1$” 的圆圈是偏置点（bias）。用 $n_l$ 表示神经网络的层数，此图中 $n_l=3$ ，将第 $l$ 层记为 $L_l$ ，有$L_1$为输入层（input layer）， $L_n_l$为输出层（output layer），其他层为隐藏层（hidden layer）。

神经网络的训练参数为 $(W,b)$ ，此处有 $(W,b) = (W^(1), b^(1), W^(2), b^(2))$ ， 其中 $W_ij^(l)$ 表示第 $l$ 层第 $j$单元与第 $l+1$ 单元之间的联结参数。本图中有 $W^(1) \\in R^3\\times 3$ ， $W^(2) \\in R^3\\times3$ 。

我们用 $z^(l)_i$ 表示第 $l$ 层第 $i$单元输入加权和（包括偏置单元），比如

z(2)梯度下降法与反向传播

反向传播和梯度下降是不是使用相同的逻辑？

深度学习梯度下降和反向传播原理

反向传播与梯度下降详解

反向传播梯度求解推导

反向传播与梯度下降详解