TensorFlow搭建双向LSTM实现时间序列预测(负荷预测)
Posted Cyril_KI
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了TensorFlow搭建双向LSTM实现时间序列预测(负荷预测)相关的知识,希望对你有一定的参考价值。
目录
I. 前言
前面几篇文章中介绍的都是单向LSTM,这篇文章讲一下双向LSTM。
系列文章:
- 深入理解PyTorch中LSTM的输入和输出(从input输入到Linear输出)
- PyTorch搭建LSTM实现时间序列预测(负荷预测)
- PyTorch搭建LSTM实现多变量时间序列预测(负荷预测)
- PyTorch搭建双向LSTM实现时间序列预测(负荷预测)
- PyTorch搭建LSTM实现多变量多步长时间序列预测(一):直接多输出
- PyTorch搭建LSTM实现多变量多步长时间序列预测(二):单步滚动预测
- PyTorch搭建LSTM实现多变量多步长时间序列预测(三):多模型单步预测
- PyTorch搭建LSTM实现多变量多步长时间序列预测(四):多模型滚动预测
- PyTorch搭建LSTM实现多变量多步长时间序列预测(五):seq2seq
- PyTorch中实现LSTM多步长时间序列预测的几种方法总结(负荷预测)
- PyTorch-LSTM时间序列预测中如何预测真正的未来值
- PyTorch搭建LSTM实现多变量输入多变量输出时间序列预测(多任务学习)
- PyTorch搭建ANN实现时间序列预测(风速预测)
- PyTorch搭建CNN实现时间序列预测(风速预测)
- PyTorch搭建CNN-LSTM混合模型实现多变量多步长时间序列预测(负荷预测)
- PyTorch搭建Transformer实现多变量多步长时间序列预测(负荷预测)
- PyTorch时间序列预测系列文章总结(代码使用方法)
- TensorFlow搭建LSTM实现时间序列预测(负荷预测)
- TensorFlow搭建LSTM实现多变量时间序列预测(负荷预测)
- TensorFlow搭建双向LSTM实现时间序列预测(负荷预测)
- TensorFlow搭建LSTM实现多变量多步长时间序列预测(一):直接多输出
- TensorFlow搭建LSTM实现多变量多步长时间序列预测(二):单步滚动预测
- TensorFlow搭建LSTM实现多变量多步长时间序列预测(三):多模型单步预测
II. 原理
如果想利用TensorFlow来实现双向LSTM,则需要用到tf.keras.layers.Bidirectional
,关于Bidirectional
,官方API描述如下:
tf.keras.layers.Bidirectional(
layer, merge_mode='concat', weights=None, backward_layer=None,
**kwargs
)
其中:
layer
:可以为LSTM或者GRU。merge_mode
:如PyTorch搭建双向LSTM实现时间序列预测(负荷预测)中描述,双向LSTM最终会得到两个方向上的输出,输出维度为(batch_size, seq_len, 2 * hidden_size)
,我们可以对两个方向上的输出按照多种方式进行组合,但PyTorch需要手动拆分然后实现组合。在TensorFlow中,我们可以通过Bidirectional
的merge_model
参数定义组合方式,具体有(sum, mul, concat, ave, None)
五种方式,默认为concat
,也就是将两个输出拼接在一起。如果为None
,则不进行组合,而是将两个方向上的输出以列表形式返回,这样可以让使用者自定义其他组合方式。backward_layer
:用于处理向后输入处理的实例。如果未提供,则作为参数传递的图层实例将用于自动生成后向图层。
III. 模型定义
双向LSTM定义如下:
class BiLSTM(keras.Model):
def __init__(self, args):
super(BiLSTM, self).__init__()
self.lstm = Sequential()
for i in range(args.num_layers):
self.lstm.add(
Bidirectional(layers.LSTM(units=args.hidden_size, input_shape=(args.seq_len, args.input_size),
activation='tanh', return_sequences=True)))
self.fc1 = layers.Dense(64, activation='relu')
self.fc2 = layers.Dense(args.output_size)
def call(self, data, training=None, mask=None):
x = self.lstm(data)
x = self.fc1(x)
x = self.fc2(x)
return x[:, -1:, :]
双向LSTM定义语句:
Bidirectional(layers.LSTM(units=args.hidden_size, input_shape=(args.seq_len, args.input_size),
activation='tanh', return_sequences=True)))
这里我没有指定merge_mode
参数,所以默认为concat
,也就是(batch_size, seq_len, 2 * hidden_size)
。
IV. 训练和预测
数据处理、训练以及预测同前面几篇文章。
这里对单变量单步长的预测进行对比,在其他条件保持一致的情况下,得到的实验结果如下所示:
方法 | LSTM | BiLSTM(concat) | BiLSTM(ave) |
---|---|---|---|
MAPE | 5.06 | 5.32 | 5.11 |
可以看到,对于本文所使用的负荷数据,单向和双向模型的效果差异不大。
V. 源码及数据
后面将陆续公开~
以上是关于TensorFlow搭建双向LSTM实现时间序列预测(负荷预测)的主要内容,如果未能解决你的问题,请参考以下文章
TensorFlow搭建LSTM实现多变量时间序列预测(负荷预测)
TensorFlow搭建LSTM实现时间序列预测(负荷预测)
图像分类基于PyTorch搭建LSTM实现MNIST手写数字体识别(双向LSTM,附完整代码和数据集)
Tensorflow:如何将预训练模型已经嵌入的数据输入到 LSTM 模型中?