Elman神经网络原理

Posted 2021-08-29 府学路18号车神

Elman神经网络

近期开题，阅读到了一篇文章关于故障诊断的，其中用到了Elman神经网络，具体是结合EMD、PCA-SOM的Elman的性能评估/预测故障诊断，对Elman神经网络有点陌生，网上资源也讲的特别杂，来做个汇总Introduction吧！

介绍

Elman神经网络 是 J. L. Elman于1990年首先针对语音处理问题而提出来的，是一种典型的局部回归网络( global feed forward local recurrent)。Elman网络可以看作是一个具有局部记忆单元和局部反馈连接的递归神经网络。

Elman网络具有与多层前向网络相似的多层结构。

它的主要结构是前馈连接, 包括输入层、 隐含层、 输出层, 其连接权可以进行学习修正;反馈连接由一组“结构 ” 单元构成,用来记忆前一时刻的输出值, 其连接权值是固定的。在这种网络中, 除了普通的隐含层外, 还有一个特别的隐含层,称为关联层 (或联系单元层 ) ;该层从隐含层接收反馈信号, 每一个隐含层节点都有一个与之对应的关联层节点连接。关联层的作用是通过联接记忆将上一个时刻的隐层状态连同当前时刻的网络输入一起作为隐层的输入, 相当于状态反馈。隐层的传递函数仍为某种非线性函数, 一般为 Sigmoid函数, 输出层为线性函数, 关联层也为线性函数。

----词条来自于百度百科

Elman组成

Elman神经网络是一种典型的动态神经网络，通常有四层:输入层、中间层(隐含层)、 承接层和输出层。

• 输入层、隐含层和输出层的连接类似于前馈网络。

• 输入层的单元只传输信号，输出层的单元具有线性加权的功能。

• 隐层细胞的传递函数可以是线性函数，也可以是非线性函数。

• 承接层又称为上下文层或状态层，用于记忆隐层的前一个时间步长输出，因此可以看作是一步时间延迟算子。

• Elman网络结构

带反馈的的BP网络
行程迟滞具有短期记忆功能

（Figure来自于网络）

Elman神经网络的特点是通过受体层的延迟和存储，隐层的输出与隐层的输入本身相连。这种自连接对其历史状态的数据非常敏感，内部反馈网络也增加了动态信息处理的能力，从而达到动态建模的目的。

选择用历史训练的Elman神经网络同步预测，数据流程图如下图所示。

• Elman网络学习算法

用BP算法进行权值修正，指标函数为误差平方和

---

目前知道的关于Elman神经网络的内容就这么多，还需要再多读读Paper。
~
有新的相关内容知识，必更新！
~
待研究透彻之后，定给出Python代码！
~
坚持读Paper，坚持做笔记写Blog！

ღ( ´･ᴗ･` )

❤

『
我相信所有被我遗忘的美好，一定还在这世上的某个角落，也相信总有一天，走过很长的生命，遇见美好，春暖花开！
』