BP神经网络的参数改进参考？

Posted 2021-02-08 bai2018

参考文献：黄巧巧. 基于BP神经网络的手写数字识别系统研究[D].华中师范大学,2009.  47-52

BP神经网络的缺陷：收敛速度慢和局部极小点的问题

使用的改进方案有

1. 学习速率（learning rate）的改进

1.1在训练开始时采用较大的学习速率，在迭代训练时将学习速率减小。

1.2自适应学习速率（略）

 

2. 激励函数的改进。传统方式使用S函数，对收敛速度，学习效率，误入局部最小等问题进行调整

2.1采用三角函数f(x) = （0.5/λ）sin(λx)+0.5/λ

2.2采用改进的S函数 f(x) = 

 

3.附加动量的改进，抑制局部最小的结果

△w(k+1) = (1-m_c)η▽f(w(k))+m_c(w(k)-w(k-1))

w为权值向量，k为训练次数，m_c为动量因子_，▽f(w(k))为误差函数的梯度。

 

试了一下2.2，确实有点效果。