浅谈LSTM循环神经网络

Posted 2023-05-04

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了浅谈LSTM循环神经网络相关的知识，希望对你有一定的参考价值。

参考技术A 姓名：程祖晗

学号：19021210938

【嵌牛导读】人工神经网络（ANN）由大量相互连接的神经元或称节点组成，这些节点经过网络中的大量加权连接，将数据进行相互通信，实现了神经网络的记忆特性。在常规的神经网络中，各个层之间的所有神经元彼此连接，但层间神经元不连接，即不能对前后位置具有一定关系的系列化数据进行更有效的分析，无法学习序列数据中前后样本的内在关联。为了优化此问题，多方研究提出了循环神经网络，且为了解决长距离依赖的问题，出现了长短期记忆网络（LSTM）。本篇就LSTM循环神经网络进行简单的讲解。

【嵌牛鼻子】LSTM循环神经网络

【嵌牛正文】LSTM循环神经网络应用了门控算法，即增加了一个状态来保存长期的状态，此算法在学习时既能掌握长距离依赖又能选择性地遗忘信息防止过载。因此在当前时刻下，LSTM 的单个神经元中共有三个输入，分别是当前时刻网络的输入值、LSTM 隐含层上一时刻的输出值以及上一时刻的单元状态。现研究其模型的建立过程。

LSTM是改进的循环神经网络，如图1所示，为输入样本，为输出样本，为LSTM单元输出。分别为样本个数，输出样本个数及神经元个数。即：

模型中需要初始化的参数有、、、、。

遗忘门限决定了当前时刻的神经元状态中保存了多少上一时刻的神经元状态：

输入门限决定了当前时刻网络的输入有多少保留到当前时刻的神经元状态，同时计算当前输出的神经元状态。

输出门限限制了神经元状态对的作用：

最后输出的预测结果为：，其中为偏移量。

与 WNN 不同，RNN 的反向误差值包括两个方面：一个是沿时间的反向传播，即当前时刻开始后的每个时刻的误差；一个是将层间的误差值传递。设 LSTM 单元的输出值为，定义时刻的误差项为：

（1）误差项沿时间的反向传递

根据上式得到时刻的，即

因此。且由前向计算可知：

（2）层间传递

假设当前为第层，定义层的误差项为：

因此

由前可计算出各权值对应的梯度值，如下所示：

设置学习率，则示例如下所示：

模型建立完成，可利用此模型完成对数据的预测，其结果比常规的神经网络更精确。

参考： http://colah.github.io/posts/2015-08-Understanding-LSTMs/

https://zybuluo.com/hanbingtao/note/541458

深度学习：浅谈RNNLSTM+Kreas实现与应用

主要针对RNN与LSTM的结构及其原理进行详细的介绍，了解什么是RNN，RNN的1对N、N对1的结构，什么是LSTM，以及LSTM中的三门（input、ouput、forget），后续将利用深度学习框架Kreas，结合案例对LSTM进行进一步的介绍。

一、RNN的原理

RNN（Recurrent Neural Networks），即全称循环神经网络，它是一种对序列型的数据进行建模的深度模型。如图1.1所示。

图1.1

1、其中

为序列数据。即神经网络的输入，例如nlp中，X1可以看作第一个单词、X2可以看作是第二个单词，依次类推。语音处理中，可以将

是每帧的声音信号。时间序列中，例如，某生活用品的销量数据。

2、U、W、V是参数矩阵，b、c是偏置项，f是激活函数，通常采用”热撸”、tanh函数作为激活函数，用softmax将输出转换成各个类别的概率。

3、上图为经典的RNN结构，其运算过程可以表示为：

式中：

表示神经网络的输出；

表示前一个时间点的状态；

4、考虑到输入与输出的关系，序列问题具有以下分类：

一对多的RNN结构：序列输出，用于图像字幕，如图1.2所示。

图1.2

多对一的RNN结构：序列输入，用于情感分类，如图1.3所示。

图1.3

多对多：序列输入和输出，用于机器翻译

同步多对多：同步序列输入和输出，用于视频分类

二、LSTM的原理

上面第一部分简单介绍了RNN的几种结构，接下来，介绍一下RNN的改进版：LSTM。LSTM（long short-term memory，长短时记忆网络），它的出现解决了很难处理的“长程依赖”问题，即无法学到序列中蕴含的间隔时间较长的规律。RNN每一层的隐状态都由前一层的隐状态经过变换和激活函数得到，反向传播求导时最终得到的导数会包含每一步梯度的连乘，将会引起梯度的消失或者梯度的爆炸。LSTM在隐状态使用了加法替代了每一步的迭代变换，这样便可以避免梯度消失的问题，从而使得网络学到长程的规律。

RNN可用图1.4表示