逻辑回归成本函数 scikit learn

Posted

技术标签:

【中文标题】逻辑回归成本函数 scikit learn【英文标题】:logistic regression cost function scikit learn 【发布时间】:2018-03-01 15:26:06 【问题描述】:

所以我已经完成了 coursera ml 课程,现在我正在研究 scikit-learn 逻辑回归,这有点不同。我一直在使用 sigmoid 函数,当 y=0 和 y=1 时,成本函数分为两种不同的情况。但是 scikit learn 有一个函数(我发现这是广义逻辑函数),这对我来说真的没有意义。

http://scikit-learn.org/stable/_images/math/760c999ccbc78b72d2a91186ba55ce37f0d2cf37.png 很抱歉,我没有足够的声誉来发布图片。

所以函数的主要关注点是当 y=0 时,成本函数总是有这个 log(e^0+1) 值,所以 X 或 w 是什么并不重要。有人可以解释一下吗?

【问题讨论】:

显示你对逻辑回归的原始定义,这是你学到的。 我认为这个答案可能对您有所帮助。 the answer! 【参考方案1】:

如果我是正确的,您在此公式中的 $y_i$ 只能假设值 -1 或 1(在@jinyu0310 给出的链接中得出)。通常你使用这个成本函数(带有正则化)

(对不起,公式插入为图像,但这里不能使用乳胶,图像来自 goo.gl/M53u44)

因此,当 yi = 0 或 yi=1 时,您总是有两个项起作用。我正在尝试对 scikit 在此公式中使用的符号找到更好的解释,但到目前为止还没有运气。

希望对您有所帮助。只是用正则化因子编写成本函数的另一种方式。还要记住,所有事物前面的恒定因素不会在优化过程中发挥作用。因为您想找到最小值,并且对乘以一切的整体因素不感兴趣。

【讨论】:

以上是关于逻辑回归成本函数 scikit learn的主要内容,如果未能解决你的问题,请参考以下文章

逻辑回归-5. scikit-learn中的逻辑回归

Scikit-learn 逻辑回归的性能比 Python 中自己编写的逻辑回归差

使用 scikit learn 训练逻辑回归进行多类分类

机器学习系列7 基于Python的Scikit-learn库构建逻辑回归模型

scikit-learn 逻辑回归类库使用小结

Scikit Learn:逻辑回归错误