为啥我们使用正则化来训练神经网络？

Posted 2023-03-12

【中文标题】为啥我们使用正则化来训练神经网络？

【英文标题】：Why do we use regularization for training neural network?为什么我们使用正则化来训练神经网络？

【发布时间】：2016-06-27 08:13:11

【问题描述】：

据我了解，我认为这是为了避免过度/欠拟合，并加快计算速度。 对吗？

【参考方案1】：

您的理解部分正确。正则化无助于欠拟合。它可以（在某种程度上）防止过度拟合。此外，它不会加快计算速度（因为通过添加正则化来计算某些东西实际上更复杂），但可以导致更简单的优化问题 - 因此收敛所需的步骤数更少（因为产生的误差表面更平滑）。