为啥正则化强度负值不是正确的方法?

Posted

技术标签:

【中文标题】为啥正则化强度负值不是正确的方法?【英文标题】:Why Regularization strength negative value is not a right approach?为什么正则化强度负值不是正确的方法? 【发布时间】:2019-04-03 14:15:26 【问题描述】:

我有一个关于在添加正则化强度 λ 参数时训练您的模型的一般性问题,因为它会惩罚您的分数以防止过度拟合(据我从课堂和下面链接的 Tootone 答案中了解到)

所以我们需要尽可能地减小 λ,所以我们使用它的倒数

我的问题是>>为什么使用负值不是正确的方法?并且没有给出正确的预测

What is the inverse of regularization strength in Logistic Regression? How should it affect my code?

【问题讨论】:

【参考方案1】:

当包含正则化参数时,您通常会修改成本函数以最小化

C(x) + λ * p(x)

其中 C(x) 是您的成本函数,p(x)>0 是惩罚。如果 λ奖励。

【讨论】:

以上是关于为啥正则化强度负值不是正确的方法?的主要内容,如果未能解决你的问题,请参考以下文章

Kaldi中的L2正则化

为啥 L1 正则化在机器学习中起作用

如何使用 scikit-learn 执行非正则化逻辑回归?

神经网络优化 - 正则化

为啥 sklearn 逻辑回归正则化权重和截距?

为啥我们需要正则化来训练 MaxEnt?