关于在 RNN (Keras) 中正确使用 dropout

Posted 2023-02-16

【中文标题】关于在 RNN (Keras) 中正确使用 dropout

【英文标题】：About correctly using dropout in RNNs (Keras)

【发布时间】：2018-10-31 16:13:11

【问题描述】：

我对如何在 keras 中正确使用带有 RNN 的 dropout 感到困惑，特别是对于 GRU 单元。 keras 文档参考了这篇论文 (https://arxiv.org/abs/1512.05287)，我知道所有时间步都应该使用相同的 dropout 掩码。这是通过 dropout 参数实现的，同时指定 GRU 层本身。我不明白的是：

为什么互联网上有几个示例，包括 keras 自己的示例 (https://github.com/keras-team/keras/blob/master/examples/imdb_bidirectional_lstm.py) 和 Andrew Ng 的 Coursera Seq 中的“触发词检测”作业。模型课程，他们明确添加了一个 dropout 层“model.add(Dropout(0.5))”，据我了解，这将为每个时间步添加一个不同的掩码。

上面提到的论文表明这样做是不合适的，由于这种丢失噪声在所有时间步长上的累积，我们可能会丢失信号以及长期记忆。 但是，这些模型（在每个时间步使用不同的 dropout 掩码）如何能够很好地学习和表现。

我自己训练了一个模型，它在每个时间步都使用不同的 dropout 掩码，虽然我没有得到我想要的结果，但该模型能够过度拟合训练数据。据我了解，这会使所有时间步的“噪声累积”和“信号丢失”无效（我有 1000 个时间步序列输入到 GRU 层）。

对这种情况的任何见解、解释或经验都会有所帮助。谢谢。

更新：

为了更清楚，我将提到 keras 文档中 Dropout Layer 的摘录（“noise_shape：1D 整数张量，表示将与输入相乘的二进制 dropout 掩码的形状。例如，如果您的输入有shape (batch_size, timesteps, features) 并且您希望所有时间步的 dropout 掩码都相同，您可以使用 noise_shape=(batch_size, 1, features")。 所以，我相信，可以看出，当显式使用 Dropout 层并且在每个时间步都需要相同的掩码（如论文中所述）时，我们需要编辑这个 noise_shape 参数，这在我之前链接的示例中没有完成.

【问题讨论】：

辍学有几种类型。您链接的示例代码使用显式输出丢失，即前一层的某些输出不会传播到下一层。 GRU 中的 dropout 参数将 dropout 应用于 GRU 单元的输入，recurrent_dropout 将 dropout 应用于循环连接。您可以在这里找到更多示例说明machinelearningmastery.com/…

【参考方案1】：

正如 Asterisk 在他的评论中解释的那样，循环单元内的 dropout 和单元输出后的 dropout 之间存在根本区别。这是您在问题中链接的keras tutorial 的架构：

model = Sequential()
model.add(Embedding(max_features, 128, input_length=maxlen))
model.add(Bidirectional(LSTM(64)))
model.add(Dropout(0.5))
model.add(Dense(1, activation='sigmoid'))

在 LSTM 完成计算之后，您将添加一个 dropout 层，这意味着该单元中不会再有任何循环传递。将这个 dropout 层想象为教导网络不要依赖于特定时间步长的特定特征的输出，而是要泛化不同特征和时间步长的信息。此处的 Dropout 与前馈架构没有什么不同。

Gal & Ghahramani 在他们的论文（您在问题中链接）中提出的建议是退出在循环单元中。在那里，您正在删除序列的时间步长之间的输入信息。我发现this blogpost 对理解这篇论文以及它与 keras 实现的关系非常有帮助。

【讨论】：

嗨@Merlin。我确实明白你在说什么。我忘了用答案更新问题。为了完整起见，我想指出我困惑的根源是，我使用的是参数 return_sequences=True 而不是默认的 False。因此，根据论文，在这种情况下添加 Dropout 是不正确的。但是如果 return_sequences=False，则只返回极端时间步长（向前和/或向后）的特征向量，并且可以像这样应用 dropout mask。

在那个单元中不会有更多的循环传递 - 你的意思是它完全打破了循环行为，或者只是不会循环应用 dropouts？

@z0r 我的意思是 LSTM 层已经完成了它的计算，并且在前向传递期间不会再次被调用。我希望这能澄清我的答案。