Pre-training Enhanced Spatial-temporal Graph Neural Network for Multivariate Time Series Forecasting

Posted 2023-02-22

原文：https://arxiv.org/abs/2206.09113 代码：https://github.com/zezhishao/STEP

原文：https://arxiv.org/abs/2206.09113
代码：https://github.com/zezhishao/STEP

受模型复杂性的限制，大多数STGNNs只考虑MTS短期历史数据，如过去一小时的数据。然而，时间序列的模式和它们之间的依赖关系(即时间和空间模式)需要基于长期的历史MTS数据进行分析。为了解决这一问题，我们提出了一个新的框架STEP。具体来说，我们设计了一个预训练模型来有效地从非常长的历史时间序列（例如，过去两周）中学习时间模式并生成段级表示。这些表示为 STGNN 的输入的短期时间序列提供上下文信息，并促进时间序列之间的建模依赖关系。

主要贡献：

• 提出了一种新的多变量时间序列预测框架，其中 STGNN 通过预训练模型增强。具体来说，预训练模型生成包含上下文信息的段级表示，以改进下游模型。
• 设计了一个基于Transformer块的时间序列的无监督预训练模型，并通过MAE策略对其进行训练。此外，我们设计了一个图结构学习器来学习依赖图。
• 在三个真实数据集上的实验结果表明，我们的方法可以显著提高下游STGNN的性能，我们的预训练模型恰当地捕获时间模式。

模型结构：