对最近数据具有更多权重的 RNN

Posted 2023-02-16

【中文标题】对最近数据具有更多权重的 RNN

【英文标题】：RNN with more weights on recent data

【发布时间】：2021-04-05 21:33:55

【问题描述】：

我正在研究股票预测样本数据的 LSTM RNN。似乎 RNN 并没有给予更多的权重 最近的数据。在 RNN 的不同时间步中，权重是平等共享的。我们是否可以选择增加最近数据的权重？ （使用 LSTM 或 RNN 中的任何参数）。

您能否纠正我或对此提供更多意见。

提前致谢。

【参考方案1】：

这就是为什么现在大多数时间序列模型都有注意力机制的原因。因为注意力机制更擅长学习相关的时间步长。这也是为什么现在有些人使用变压器的原因。 RNN/LSTM 不能很好地学习长期依赖。例如DA-RNN paper 状态

在第一阶段，我们引入了一种输入注意机制，通过参考之前的编码器隐藏状态，在每个时间步自适应地提取相关的驱动序列（也称为输入特征）。在第二阶段，我们使用时间注意力机制在所有时间步长中选择相关的编码器隐藏状态。

关键词跨越所有时间步。你可以找到几个基于注意力/转换器的模型的实现here（免责声明我是这个框架的维护者）。