LSTM简单入门

Posted einsler

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了LSTM简单入门相关的知识,希望对你有一定的参考价值。

关于LSTM及RNN的基础知识以及相关的数学推导这篇博客介绍的很好,其中还包括神经网络的其他基础内容。

RNN循环神经网络:https://www.zybuluo.com/hanbingtao/note/541458

LSTM长短时记忆网络:https://zybuluo.com/hanbingtao/note/581764

在这篇博客(Tensorflow实例:利用LSTM预测股票每日最高价):http://blog.csdn.net/mylove0414/article/details/55805974中对如何使用Tensorflow构建LSTM有所介绍。

这类问题解决的步骤:

1、训练,测试数据处理

  将数据从csv或者txt文件中读取,利用numpy工具转换成特定的格式,需要特别注意矩阵的维度信息

2、构建神经网络

  1)、调整输入数据的维度,设定batch_size,time_step,input_size;

    这三个参数,关于batch_size,暂时理解为每次喂多少组数据,比方说,训练时可以将一组数据重复喂给神经网络去训练许多次来更新权重,也可以将多组数据喂给神经网络每组只更新一次权重,batch_size的大小与收敛效果相关

    time_step是与RNN相关的一个重要参数,它指神经网络循环的深度,简单理解为RNN展开后宽度,在理解一个神经网络时,可以按左边的结构去想

    Input_size指训练数据的维数

    技术分享图片

  2)、设置BasicLSTMCell,DropoutWrapper,MultiRNNCell

    DropoutWrapper主要有两个参数需要设定:input_keep_prob及output_keep_prob,它用于解决过拟合的问题。参考文献:https://arxiv.org/pdf/1409.2329.pdf

    介绍DropoutWrapper的博客:http://blog.csdn.net/abclhq2005/article/details/78683656

  3)、初始化可用zero_state函数实现

3、构建损失函数与优化目标

4、训练和测试

  tf.nn.dynamic_rnn用于训练,训练得到的模型可以使用saver=tf.train.Saver()及saver.save()存储,利用modle=tf.train.latest_checkpoint()和saver.restore()恢复并测试

其他有用的博客包括:

多层LSTM构建:https://zhuanlan.zhihu.com/p/29797089

RNN与LSTM相关资源:http://suanfazu.com/t/rnn-lstm/13587/1

以上是关于LSTM简单入门的主要内容,如果未能解决你的问题,请参考以下文章

RNN从入门到实战GRU入门到实战——使用GRU预测股票。

手把手写深度学习——用LSTM生成手写英文文章

手把手写深度学习——用LSTM生成手写英文文章

如何训练 LSTM 进行最简单的函数识别

在 Tensorflow 2.0 中的简单 LSTM 层之上添加注意力

使用 LSTM 预测一个简单的合成时间序列。为啥这么糟糕?