mxnet：具有共享掩码的多个 dropout 层

Posted 2023-02-16

【中文标题】mxnet：具有共享掩码的多个 dropout 层

【英文标题】：mxnet: multiple dropout layers with shared mask

【发布时间】：2017-05-30 04:43:17

【问题描述】：

我想重现一个循环神经网络，其中每个时间层后面都有一个 dropout 层，这些 dropout 层共享它们的掩码。除其他外，A Theoretically Grounded Application of Dropout in Recurrent Neural Networks 中描述了这种结构。

据我理解的代码，在 MXNet 中实现的循环网络模型没有在时间层之间应用任何 dropout 层； lstm (R API, Python API) 等函数的 dropout 参数实际上定义了输入的 dropout。因此，我需要从头开始重新实现这些功能。

但是，Dropout 层似乎没有将定义掩码的变量作为参数。

是否可以在计算图的不同位置创建多个 dropout 层，但共享它们的掩码？

【参考方案1】：

根据here的讨论，无法指定掩码，使用随机种子对dropout的随机数生成器没有影响。

【讨论】：

有解决 RNG 问题的工作，但您仍然无法指定掩码。