神经网络：BP神经网络

Posted 2022-10-07 小白不白白_

西瓜书研读系列：
西瓜书研读——第三章 线性模型：一元线性回归
西瓜书研读——第三章 线性模型：多元线性回归
西瓜书研读——第三章 线性模型：线性几率回归（逻辑回归）
西瓜书研读——第三章 线性模型： 线性判别分析 LDA
西瓜书研读——第四章 决策树：ID3、C4.2、CSRT算法
西瓜书研读——第四章 决策树：剪枝、连续值、缺失值处理
西瓜书研读——第五章 神经网络：感知机与多层网络

5.3 误差逆传播算法（BP）

亦称反向传播算法、BP神经网络（Back Propagation）一般说的BP网络是指多层前馈神经网络。

给定训练集$D=\left({\mathbf{x}}_1,{\mathbf{y}}_1\right),\left({\mathbf{x}}_2,{\mathbf{y}}_2\right),\dots ,\left({\mathbf{x}}_m,{\mathbf{y}}_m\right),{\mathbf{x}}_i\in {\mathbb{R}}^d,{\mathbf{y}}_i\in {\mathbb{R}}^l$ 即输入示例由 $d$ 个属性描述（$x_i$是d维的）, 输出 $l$ 维实值向量。

为便于讨论, 下图给出了一个拥有$d$ 个输入神经元、$l$ 个输出神经元、$q$个隐层神经元的多层前馈网络结构

• 输出层第$j$个神经元的阈值用 ${\theta }_j$表示
• 隐层第 $h$个神经元的阈值用 ${\gamma }_h$表示
• 输入层第$i$个神经元与隐层第 $h$ 个神经元之间的连接权为 $v_{ih}$,
• 隐层第$h$个神经元与输出层第 j 个神经元之间的连接权为 $w_{hj}$ .
• 记隐层第$h$个神经元接收到的输入为 ${\alpha }_h={\sum }_{i=1}^d{v}_{ih}{x}_i$
• 输出层第$j$个神经元接收到的输入为 ${\beta }_j={\sum }_{h=1}^q{w}_{hj}{b}_h$, 其中 $b_h$为隐层第$h$个神经元。
• 网络中有$(d+l+1)q+l$个参数需确定：输入层到隐层的 $d\times q$ 个权值、隐层到输出层的$q\times l$ 个权值、 $q$个隐层神经元的阈值、$l$ 个输出层神经元的阈值，输入层没有功能神经元因此无阈值。

假设隐藏层和输出层神经元都使用$Sigmoid$函数。

给定一个训练样本$\left({\mathbf{x}}_k,{\mathbf{y}}_k\right)$, 假设模型输出为${\hat{\mathbf{y}}}_k=\left({\hat{y}}_1^k,{\hat{y}}_2^k,\dots ,{\hat{y}}_l^k\right)$,
$${\hat{y}}_j^k=f({\beta }_j-{\theta }_j)\text{\hspace{1em}(5.3)}$$
则均方误差为
$$E_k=\frac{1}{2}\sum _{j=1}^l{\left({\hat{y}}_j^k-y_j^k\right)}^2\text{\hspace{1em}(5.4 )}$$
$\frac{1}{2}$只是为了求导更方便

算法流程

BP 是一个迭代学习算法, 在迭代的每一轮中采用广义的感知机学习规则对参数进行更新估计任意参数$ v$的更新估计式为
$$v\leftarrow v+\Delta v\text{\hspace{1em}(5.5)}$$

那么各个参数的更新公式为
w h j ← w h j + Δ w h j = w h j − η ∂ E k ∂