为啥在无监督学习中不使用 DropOut？

Posted 2023-03-12

【中文标题】为啥在无监督学习中不使用 DropOut？

【英文标题】：Why isn't DropOut used in Unsupervised Learning?为什么在无监督学习中不使用 DropOut？

【发布时间】：2013-11-09 02:27:38

【问题描述】：

所有或几乎所有使用 dropout 的论文都将其用于监督学习。似乎它可以很容易地用于规范深度自动编码器、RBM 和 DBN。那么为什么在无监督学习中不使用 dropout 呢？

【问题讨论】：

看去噪自编码器，添加随机噪声类似于dropout。

是的，这完全一样。他们随机选择输入并将其设置为 0。请参阅：deeplearning.net/tutorial/dA.html

我也有同样的问题。我认为去噪 AE 只在输入层应用 dropout。我的问题是为什么不将 dropout 应用于隐藏层以防止过度拟合？

【参考方案1】：

Dropout 用于无监督学习。例如：

翟双飞、张中飞：矩阵分解和自动编码器的 Dropout 训练用于稀疏图中的链接预测（arxiv，2015 年 12 月 14 日）

【参考方案2】：

带标签的数据相对稀缺，这就是为什么监督学习通常受益于强大的正则化，例如 DropOut。

另一方面，未标记的数据通常很丰富，这就是通常不需要 DropOut 的原因，并且可能是有害的（因为它会降低模型容量）。

即使是像 GPT-3（175e9 参数）这样的巨大模型在更新 300e9 令牌后仍然欠拟合。