Dense 层上的 Dropout

Posted 2023-02-16

【中文标题】Dense 层上的 Dropout

【英文标题】：Dropout on a Dense layer

【发布时间】：2022-01-10 16:43:52

【问题描述】：

在 Keras 中，当我们使用input_dim 参数定义我们的第一个隐藏层时，后跟一个 Dropout 层，如下所示：

model.add(Dense(units = 16, activation = 'relu', kernel_initializer = 'random_uniform', input_dim = 5))
model.add(Dropout(0.2))

Dropout 是应用于隐藏层还是输入层？如果它被应用于隐藏，我怎样才能应用于输入，反之亦然？

【参考方案1】：

Dropout 应用于前一层的输出，因此在这种情况下应用于隐藏层。 如果要将其应用于输入，请添加一个 Dropout 层作为网络中的第一层。

【讨论】：

我明白了，这让我很困惑，因为在 Keras 文档中说“将 Dropout 应用于输入。”

我认为他们的意思是它会将 dropout 应用于它自己的输入，这通常是前一层的输出。