机器学习入门系列四（关键词：BP神经网络）

Posted 2022-12-01 walegahaha

在这里我就不介绍神经网络的起源发展和基本概念了，让我们专注于BP神经网络的算法。为了方便说明，我们做出如下如下神经网路用于解决分类问题，其中输入层有3个单元(含1个偏置项)，第1个隐藏层有3个单元(含1个偏置项)，第2个隐藏层有3个单元(含1个偏置项)，输出层有2个单元。

符号	意义
$x$	样本输入向量
$x_i$	样本输入向量第$i$个分量
$y$	样本输出向量
$z_j^(k)$	第$k$层第$j$个单元的值（用激励函数之前）
$a_j^(k)$	第$k$层第$j$个单元的值（用激励函数之后）
$\\theta_i,j^(k)$	第$k$层的第$j$个单元与第$k+1$层的第$i$个单元之间的权值，其中$\\theta_i0^(k)$的值恒为1
$\\Theta^(k)$	由$\\theta_ij^(k)$组成的矩阵
$\\delta_j^(k)$	第$k$层第$j$个单元的误差

一、前向传播

方便起见，针对一个训练样本用于训练网络，首先进行前向传播。第一层（输入层）如下，其中矩阵中的1为偏置项。

$$a^(1) = \\beginbmatrix1&x_1&x_2\\endbmatrix^\\mathrmT\\tag1$$ 第二层（隐藏层1）经过权值的作用得到如下。 $$z^(2)=\\Theta^(1)a^(1)\\tag2$$ 其中 $\\Theta^(1)$的维度是 $2\\times3$， $a^(1)$的维度是 $3\\times1$，因此 $z^(2)$的维度是 $2\\times1$，不包括第2层的偏置项。具体来讲， z(2)1=θ(1)10×a(1)0+θ(1)11×a(1)1+θ(1)12×a(1)2数学建模MATLAB应用实战系列（106）-机器学习算法：BP神经网络（附MATLAB代码）

机器学习算法神经网络与深度学习-3 BP神经网络

机器学习算法神经网络和深度学习-4 重要的BP网络使用总结，了解BP神经网络的魅力

机器学习入门系列一（关键词：单变量线性回归，梯度下降法）

菜鸟之路——机器学习之BP神经网络个人理解及Python实现

机器学习入门系列三（关键词：逻辑回归，正则化）