TensorFlow搭建双向LSTM实现时间序列预测(负荷预测)

Posted Cyril_KI

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了TensorFlow搭建双向LSTM实现时间序列预测(负荷预测)相关的知识,希望对你有一定的参考价值。

目录

I. 前言

前面几篇文章中介绍的都是单向LSTM,这篇文章讲一下双向LSTM。

系列文章:

  1. 深入理解PyTorch中LSTM的输入和输出(从input输入到Linear输出)
  2. PyTorch搭建LSTM实现时间序列预测(负荷预测)
  3. PyTorch搭建LSTM实现多变量时间序列预测(负荷预测)
  4. PyTorch搭建双向LSTM实现时间序列预测(负荷预测)
  5. PyTorch搭建LSTM实现多变量多步长时间序列预测(一):直接多输出
  6. PyTorch搭建LSTM实现多变量多步长时间序列预测(二):单步滚动预测
  7. PyTorch搭建LSTM实现多变量多步长时间序列预测(三):多模型单步预测
  8. PyTorch搭建LSTM实现多变量多步长时间序列预测(四):多模型滚动预测
  9. PyTorch搭建LSTM实现多变量多步长时间序列预测(五):seq2seq
  10. PyTorch中实现LSTM多步长时间序列预测的几种方法总结(负荷预测)
  11. PyTorch-LSTM时间序列预测中如何预测真正的未来值
  12. PyTorch搭建LSTM实现多变量输入多变量输出时间序列预测(多任务学习)
  13. PyTorch搭建ANN实现时间序列预测(风速预测)
  14. PyTorch搭建CNN实现时间序列预测(风速预测)
  15. PyTorch搭建CNN-LSTM混合模型实现多变量多步长时间序列预测(负荷预测)
  16. PyTorch搭建Transformer实现多变量多步长时间序列预测(负荷预测)
  17. PyTorch时间序列预测系列文章总结(代码使用方法)
  18. TensorFlow搭建LSTM实现时间序列预测(负荷预测)
  19. TensorFlow搭建LSTM实现多变量时间序列预测(负荷预测)
  20. TensorFlow搭建双向LSTM实现时间序列预测(负荷预测)
  21. TensorFlow搭建LSTM实现多变量多步长时间序列预测(一):直接多输出
  22. TensorFlow搭建LSTM实现多变量多步长时间序列预测(二):单步滚动预测
  23. TensorFlow搭建LSTM实现多变量多步长时间序列预测(三):多模型单步预测

II. 原理

如果想利用TensorFlow来实现双向LSTM,则需要用到tf.keras.layers.Bidirectional,关于Bidirectional,官方API描述如下:

tf.keras.layers.Bidirectional(
    layer, merge_mode='concat', weights=None, backward_layer=None,
    **kwargs
)


其中:

  1. layer:可以为LSTM或者GRU。
  2. merge_mode:如PyTorch搭建双向LSTM实现时间序列预测(负荷预测)中描述,双向LSTM最终会得到两个方向上的输出,输出维度为(batch_size, seq_len, 2 * hidden_size),我们可以对两个方向上的输出按照多种方式进行组合,但PyTorch需要手动拆分然后实现组合。在TensorFlow中,我们可以通过Bidirectionalmerge_model参数定义组合方式,具体有(sum, mul, concat, ave, None)五种方式,默认为concat,也就是将两个输出拼接在一起。如果为None,则不进行组合,而是将两个方向上的输出以列表形式返回,这样可以让使用者自定义其他组合方式。
  3. backward_layer:用于处理向后输入处理的实例。如果未提供,则作为参数传递的图层实例将用于自动生成后向图层。

III. 模型定义

双向LSTM定义如下:

class BiLSTM(keras.Model):
    def __init__(self, args):
        super(BiLSTM, self).__init__()
        self.lstm = Sequential()
        for i in range(args.num_layers):
            self.lstm.add(
                Bidirectional(layers.LSTM(units=args.hidden_size, input_shape=(args.seq_len, args.input_size),
                                          activation='tanh', return_sequences=True)))
        self.fc1 = layers.Dense(64, activation='relu')
        self.fc2 = layers.Dense(args.output_size)

    def call(self, data, training=None, mask=None):
        x = self.lstm(data)
        x = self.fc1(x)
        x = self.fc2(x)

        return x[:, -1:, :]

双向LSTM定义语句:

Bidirectional(layers.LSTM(units=args.hidden_size, input_shape=(args.seq_len, args.input_size),
                          activation='tanh', return_sequences=True)))

这里我没有指定merge_mode参数,所以默认为concat,也就是(batch_size, seq_len, 2 * hidden_size)

IV. 训练和预测

数据处理、训练以及预测同前面几篇文章。

这里对单变量单步长的预测进行对比,在其他条件保持一致的情况下,得到的实验结果如下所示:

方法LSTMBiLSTM(concat)BiLSTM(ave)
MAPE5.065.325.11

可以看到,对于本文所使用的负荷数据,单向和双向模型的效果差异不大。

V. 源码及数据

后面将陆续公开~

以上是关于TensorFlow搭建双向LSTM实现时间序列预测(负荷预测)的主要内容,如果未能解决你的问题,请参考以下文章

TensorFlow搭建LSTM实现多变量时间序列预测(负荷预测)

TensorFlow搭建LSTM实现时间序列预测(负荷预测)

图像分类基于PyTorch搭建LSTM实现MNIST手写数字体识别(双向LSTM,附完整代码和数据集)

Tensorflow:如何将预训练模型已经嵌入的数据输入到 LSTM 模型中?

在tensorflow中使用glstm(Group LSTM) cell构建双向rnn

TensorFlow自主实现包含全节点Cell的LSTM层 Cell