LSTM -长短期记忆网络(RNN循环神经网络)

Posted Gaolw1102

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了LSTM -长短期记忆网络(RNN循环神经网络)相关的知识，希望对你有一定的参考价值。

文章目录

基本概念及其公式

LSTM，即(long short-term Memory)长短期记忆网络，也是RNN循环神经网络的一种改进方法，是为了解决一般的RNN（循环神经网络）存在的长期依赖问题而专门设计出来的，在NLP领域具有很重要的作用。

LSTM 模型同 GRU 模型思想相像，也是依靠逻辑门思想来试图解决序列依赖的一种方法。不过 LSTM 的逻辑门实现方法与 GRU 模型有所不同。

LSTM 模型中共需要以下的逻辑门与记忆信息:

  • 输入门 I t I_t It​
  • 输出门 O t O_t Ot​
  • 遗忘门 F t F_t Ft​
  • 候选记忆元 C t c a n C_t^can Ctcan​
  • 记忆元 C t C_t Ct​
  • 隐状态 H t H_t Ht​

通过对以上参数进行组合即可实现LSTM模型，以下将详解这6个逻辑门与记忆信息的功能与计算方法。

输入门、输出门、遗忘门

如同在门控循环单元 GRU 中一样， 当前时间步的输入和前一个时间步的隐状态 作为数据送入长短期记忆网络的门中， 如下图所示。 它们由三个具有sigmoid激活函数的全连接层处理， 以计算输入门、遗忘门和输出门的值。 因此，这三个门的值都在 ( 0 , 1 ) (0, 1) (0,1) 的范围内。

输入门、遗忘门和输出门的计算公式:

输入门 I t = σ ( X i W x i + H t − 1 W h i + b i ) 输出门 O t = σ ( X i W x o + H t − 1 W h o + b o ) 遗忘门 F t = σ ( X i W x f + H t − 1 W h f + b f ) \\begin cases 输入门 \\quad I_t = \\sigma(X_iW_xi + H_t-1W_hi + b_i) \\\\ 输出门 \\quad O_t = \\sigma(X_iW_xo + H_t-1W_ho + b_o) \\\\ 遗忘门 \\quad F_t = \\sigma(X_iW_xf + H_t-1W_hf + b_f) \\\\ \\end cases ⎩ ⎨ ⎧​输入门It​=σ(Xi​Wxi​+Ht−1​Whi​+bi​)输出门Ot​=σ(Xi​Wxo​+Ht−1​Who​+bo​)遗忘门Ft​=σ(Xi​Wxf​+Ht−1​Whf​+bf​)​

候选记忆元

由于还没有指定各种门的操作，所以先介绍候选记忆元（candidate memory cell）$\\tilde\\mathbfC_t 。它的计算与上面描述的三个门的计算类似，但是使用 。它的计算与上面描述的三个门的计算类似，但是使用 。它的计算与上面描述的三个门的计算类似，但是使用\\tanh 函数作为激活函数，函数的值范围为 函数作为激活函数，函数的值范围为 函数作为激活函数，函数的值范围为(-1, 1) 。下面导出在时间步 。下面导出在时间步 。下面导出在时间步t$处的方程：

候选记忆元 C ~ t = tanh ⁡ ( X i W x c + H i − 1 W h c + b c ) 候选记忆元 \\quad \\tildeC_t = \\tanh(X_iW_xc + H_i-1W_hc + b_c) 候选记忆元C~t​=tanh(Xi​Wxc​+Hi−1​Whc​+bc​)

候选记忆元的图示如下:

记忆元

在门控循环单元 GRU 中，有一种机制来控制输入和遗忘（或跳过）。类似地，在长短期记忆网络中，也有两个门用于这样的目的：输入门 I t \\mathbfI_t It​控制采用多少来自 C ~ t \\tilde\\mathbfC_t C~t​的新数据，而遗忘门 F t \\mathbfF_t Ft​控制保留多少过去的记忆元 C t − 1 \\mathbfC_t-1 Ct−1​的内容。 使用按元素乘法，得出：

C t = F t ⊙ C t − 1 + I t ⊙ C ~ t C_t = F_t \\odot C_t-1 + I_t \\odot \\tildeC_t Ct​=Ft​⊙Ct−1​+It​⊙C~t​

如果遗忘门始终为 1 1 1且输入门始终为 0 0 0，则过去的记忆元 C t − 1 \\mathbfC_t-1 Ct−1​将随时间被保存并传递到当前时间步。引入这种设计是为了缓解梯度消失问题，
并更好地捕获序列中的长距离依赖关系。

隐状态

最后，我们定义如何计算隐状态 H t \\mathbfH_t Ht​，这就是输出门发挥作用的地方。在长短期记忆网络中，它仅仅是记忆元的 tanh ⁡ \\tanh tanh的门控版本。这就确保了 H t \\mathbfH_t Ht​的值始终在区间 ( − 1 , 1 ) (-1, 1) (−1,1)内：

H t = O t ⊙ t a n h ( C t ) H_t = O_t \\odot tanh(C_t) Ht​=Ot​⊙tanh(Ct​)

只要输出门接近 1 1 1，我们就能够有效地将所有记忆信息传递给预测部分，而对于输出门接近 0 0 0，我们只保留记忆元内的所有信息，而不需要更新隐状态。

其图示如下:

从零开始实现 LSTM

现在，我们从零开始实现长短期记忆网络。 与之前 RNN 模型的实验相同， 我们首先加载时光机器的数据集(目的是通过训练能够自动补全句子)。

import torch
from torch import nn
from d2l import torch as d2l

batch_size, num_steps = 32, 35             #批量大小32，序列步数35
train_iter, vocab = d2l.load_data_time_machine(batch_size, num_steps)

初始化模型参数

我们现在来定义和初始化模型参数。如之前一致，超参数num_hiddens定义隐藏单元的数量。 我们按照标准差 0.01 的高斯分布初始化权重，并将偏置项设为 0。

def get_lstm_params(vocab_size, num_hiddens, device):
    #输入和输出一致
    num_inputs = num_outputs = vocab_size
    
    def normal(shape):
        return torch.randn(shape, device=device)*0.01
    
    def three():
        return (normal((num_inputs, num_hiddens)),
               normal((num_hiddens, num_hiddens)),
               torch.zeros(num_hiddens, device=device))
    
    #逻辑门参数
    W_xi, W_hi, b_i = three()                #输入门参数
    W_xf, W_hf, b_f = three()                #遗忘门
以上是关于LSTM -长短期记忆网络(RNN循环神经网络)的主要内容，如果未能解决你的问题，请参考以下文章
 

 长短期记忆网络 LSTM 深层循环神经网络 Deep RNN 双向循环神经网络 Bidirectional RNN 动手学深度学习v2


 深度学习与图神经网络核心技术实践应用高级研修班-Day2循环神经网络（RNN）


 TensorFlow——LSTM长短期记忆神经网络处理Mnist数据集


 deep_learning_LSTM长短期记忆神经网络处理Mnist数据集


 备战数学建模49-深度学习之长短期记忆网络LSTM(RNN)(攻坚战14)


 备战数学建模49-深度学习之长短期记忆网络LSTM(RNN)(攻坚战14)