论文笔记：Unsteady Multi-Element Time Series Analysis and Prediction Based on Spatial-Temporal Attention

Posted 2022-02-08 UQI-LIUWJ

2020 MDPI

0 摘要

有害藻华（HABs）往往对渔业生产和人类生命安全造成极大危害。因此，HABs的检测和预测成为一个重要的课题。

        机器学习在国内外越来越多地用于预测HAB。然而，很少有人能够提前捕捉到 Chl-a 的突然变化并适当地处理长期依赖关系。

        为了应对这些挑战，提出了基于长短期记忆 (LSTM) 的叶绿素-a (Chl-a) 浓度预测时空注意模型，该模型可以捕捉各种因素与 Chl-a 之间的相关性，自适应地捕获来自先前时间间隔的动态时间信息以进行预测。

        该模型还可以提前捕捉到红潮爆发时数值飙升的 Chl-a 阶段。由于当前 Chl-a 浓度预测模型的不稳定性，该模型也被应用于预测可靠性的预测，以对模型误差的范围和波动有一个基本的了解，并为描述海洋灾害误差范围提供参考。

        实验所用数据取自福建省海洋预报站2009-2011年数据，合并为8维数据。结果表明，所提出的方法比其他 Chl-a 预测算法（例如 Attention LSTM 和 Seq2seq 以及反向传播）表现更好。误差预测结果也表明，误差预测方法在赤潮防治方面具有优势。

1 introduction

        现有环境预测模型大多使用总平均误差来评价预测结果，当自然灾害突然发生时，这些模型会出现较大的误差波动。

         因此，在预测自然灾害的发生时，不仅要了解模型的预测结果，还要掌握模型误差的波动情况，为预测的可靠性提供参考。

        人工神经网络 (ANN) 是最广泛使用的机器学习 (ML) 方法来预测藻华 [7,8]，尤其是反向传播 (BP) 神经网络 [9]。

        然而，由于赤潮是一个爆发性的过程而不是一个渐进的过程，目前大多数赤潮预测方法都存在不准确和误差波动的问题。

        当赤潮发生时，海水中的 Chl-a 值会突然上升。 现有赤潮预报方法无法预测赤潮爆发时Chl-a值的快速变化，也未考虑模型误差的波动。  

        我们在本文中使用 Chl-a 作为赤潮的指标。 考虑到赤潮与气压、光照、风速、风向、气温等气象因子的诸多维度相关，有必要建立多维度的空间注意力机制来捕捉这些因子与Chl-a的动态关联。

         我们还应用时间注意力来模拟目标时间序列中不同时间间隔之间的动态时间相关性，这可以解决encoder-decoder的性能会随着编码器长度的增加而迅速下降的问题。

      在本文中，基于双阶段注意力的 RNN（DA-RNN）[16] 被应用于预测 Chl-a 并预测模型误差的波动。

我们的主要贡献如下：

（1）首先，我们开发了 DARNN 来预测 Chl-a 值，我们发现双注意力机制在 RMSE 和平均绝对误差（MAE）上的表现都优于其他模型 ，DARNN可以比其他模型更好地预测 Chl-a 值的突变，这对于防止赤潮具有重要意义。

(2) 其次，我们还对预报的可靠性进行了预测，对模型误差的范围和波动有一个基本的认识，为描述海洋灾害的范围提供参考。

2 方法

2.1 问题描述  

我们已知Chl-a的历史时间序列（T是时间窗口的大小）

已知其他特征（如温度，适度，氧气含量等）

 

其中表示k特征的时间序列，表示时刻t的所有其他特征（n是其他特征的数量），

那么我们希望预测现在的Chl-a的值

 

 2.2 模型

        图 1 展示了我们模型的框架。 按照decode-encoder架构 [11]，我们构建了一个基于 DA-RNN [16] 的预测网络。

         编码器处理多维空间注意机制，可以自适应地捕捉 Chl-a 与其他特征时间序列之间的动态相关性。

        解码器使用时间注意力来自适应地选择相关的先前时间间隔进行预测。

        借助时空注意机制，DA-RNN 可以捕捉输入特征与 Chl-a 之间的相关程度，并应用时间维度的注意来捕捉动态时间相关性。

 

 2.2.1编码器

        编码器本质上是一个LSTM，它将输入序列X编码潜在表示h 。

机器学习笔记：GRU_UQI-LIUWJ的博客-CSDN博客

       

​​​​​​​机器学习笔记： attention_UQI-LIUWJ的博客-CSDN博客

2.2.2 空间注意力机制

空间注意力机制自适应地学习ChI-a 的时间序列和其他特征序列之间的关联

   

这里[.;,] 是一个concat操作

是需要学习的参数

 

这里使用的不是一般所说的attention layer（就是Q矩阵乘K矩阵那样的），使用的是attention in Seq2Seq

有了权重，我们就可以更新不同时间步的输入和隐藏状态 

 

 2.2.3 解码器

        空间上的注意力机制

3 实验部分

3.1 数据集

实验数据来自福建省海洋预报站

 

 各变量之间的皮尔逊关联系数为：

 3.2 衡量方法

 3.3 实验结果

 

可以看出Chl-a 可以更好地拟合突变情况