如何将先前时间步的知识添加到 RNN 中？

Posted 2023-02-16

【中文标题】如何将先前时间步的知识添加到 RNN 中？

【英文标题】：How to add knowledge of previous time steps to RNNs?

【发布时间】：2020-11-07 17:00:05

【问题描述】：

我正在使用Keras for TensorFlow 设置一个单层门控循环单元 (GRU)，以在给定时间步长 X_t 的时间序列 t,...,N 的情况下预测时间步长 y_t。由于我在时间 t-1 知道 y，我如何将其提供给网络？最初我想通过隐藏状态来做到这一点，但是这些并不代表 y 的实际值，手动设置这些不会改善网络，除非 t-1 处的 y 值为 0（对应于未初始化隐藏状态的默认值)。

【参考方案1】：

它已经在发生，您不必特意去做。隐藏状态正在执行，但是是的，不是正在使用实际值，而是正在学习它们的模式。这是一件好事，因为您的模型可以很好地泛化。

如果您在处理时间序列数据时遇到问题，请考虑增加或减少窗口大小，更改其中的层数和单元数（首先判断是否发生过拟合或欠拟合）并使用 dropout。