零丢包率的丢包层

Posted 2023-03-28

【中文标题】零丢包率的丢包层

【英文标题】：Dropout Layer with zero dropping rate

【发布时间】：2021-07-06 09:44:55

【问题描述】：

我无法理解 PyTorch 中 dropout 层的某个方面。

正如Pytorch Documentation 中所述，该方法的签名是torch.nn.Dropout(p=0.5, inplace=False)，其中p 是退出率。

选择p=0时，这个层做了什么？它会以任何方式改变其输入吗？

【问题讨论】：

p=0 相当于没有辍学；你有什么困惑？

【参考方案1】：

Dropout 和p=0 等价于恒等操作。

事实上，这是 Dropout 模块在eval 模式下设置时的确切行为：

在评估期间，模块只计算一个恒等函数。

【讨论】：

谢谢！无论处于train 或eval 模式，这都是真的吗？

@Shir eval 模式通过设置 p=0 完全禁用 dropout 层，因此在这种情况下它们的行为是相同的："During evaluation the module simply computes an identity function."