BP神经网络

Posted r0825

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了BP神经网络相关的知识,希望对你有一定的参考价值。

BP神经网络是一种按误差反向传播(简称误差反传)训练的多层前馈网络,其算法称为BP算法,它的基本思想是梯度下降法。

BP神经网络的网络结构:

通常有n个输入,m个输出,中间有若干个隐藏层,具体如下图所示:

 技术分享图片

 

BP神经网络的计算过程:

工作信号正向传递过程(前向传播):

四个步骤:

1、输入层的每个节点,都要与的隐藏层每个节点做点对点的计算,计算的方法是加权求和+激活

2、利用隐藏层计算出的每个值,再用相同的方法,和输出层进行计算。

3、隐藏层用都是用Sigmoid作激活函数,而输出层用的是Purelin。这是因为Purelin可以保持之前任意范围的数值缩放,便于和样本值作比较,而Sigmoid的数值范围只能在0~1之间。

4、起初输入层的数值通过网络计算分别传播到隐藏层,再以相同的方式传播到输出层,最终的输出值和样本值作比较,计算出误差,这个过程叫前向传播(Forward Propagation)。

误差信号反向传递过程

BP算法是一种计算偏导数的有效方法,它的基本原理是:

5、利用前向传播最后输出的结果来计算误差的偏导数(前向传播后求偏导),

6、再用这个偏导数和前面的隐藏层进行加权求和

7、如此一层一层的向后传下去(隐藏层间偏导加权求和)

8、直到输入层(不计算输入层)(也就是第一隐藏层到输入层的偏导加权求和)

9、最后利用每个节点求出的偏导数来更新权重。

过程如下:

该部分参考自博客:https://blog.csdn.net/lyl771857509/article/details/78990215

技术分享图片

技术分享图片

技术分享图片

技术分享图片

技术分享图片

技术分享图片

技术分享图片

上面的图片过程详细介绍了BP神经网络是怎样工作的。

 

BP神经网络的缺陷:

 

①学习速度慢,即使是一个简单的问题,一般也需要几百次甚至上千次的学习才能收敛。

②容易陷入局部极小值。

③网络层数、神经元个数的选择没有相应的理论指导。

④网络推广能力有限。

 

 

 参考博客:https://blog.csdn.net/lyl771857509/article/details/78990215

 

以上是关于BP神经网络的主要内容,如果未能解决你的问题,请参考以下文章

bp神经网络算法介绍 bp神经网络算法简介

BP算法、BP神经网络、遗传算法、神经网络这四者之间的关系

BP神经网络

用Matlab算BP神经网络的具体算法?

关于BP神经网络出现的问题

Matlab BP神经网络预测错误,怎么办?