反馈神经网络算法

Posted 2021-04-24 予人智能

典型的卷积神经网络，开始阶段都是卷积层以及池化层的相互交替使用，之后采用全连接层将卷积和池化后的结果特征全部提取进行概率计算处理。

在具体的误差反馈和权重更新的处理上，不论是全连接层的更新还是卷积层的更新，使用的都是经典的反馈神经网络算法，这种方法较原本较为复杂的、要考虑长期的链式法则转化为只需要考虑前后节点输入和输出误差对权重的影响，使得当神经网络深度加大时能够利用计算机计算，以及卷积核在计算过程中产生非常多的数据计算。

反馈神经网络正向与反向传播公式推导

经典反馈神经网络主要包括3个部分，数据的前向计算、误差的反向传播以及权值的更新。如下图所示。

可以看到每个层l（假设是卷积或者池化层的一种）都会接一个下采样层l+1。对于反馈神经网络来说，要想求得层l的每个神经元对应的权值更新，就需要先求层l的每一个神经元点的灵敏度。简单来说，总体有以下几个权重以及数值需要在传递的过程中进行计算，即：

　　1.输入层-卷积层

　　2.卷积层-池化层

　　3.池化层-全连接层

　　4.全连接层-输出层

　　这是正向的计算，而当权值更新时，需要对其进行反向更新，即：

　　1.输出层-全连接层

　　2.全连接层-池化层

　　3.池化层-卷积层

　　4.卷积层-输出层

1.前向传播算法

　　对于前向传播的值传递，隐藏层输出值定义如下：

　　神经网络反馈算法，就是逐层地将最终的误差进行分解，即每一层只与下一层打交道（如下图所示）。因此，可以假设每一层均为输出层的前一个层级，通过计算前一个层级与输出层的误差得到权重的更新。

知识分享，带来快乐