逻辑回归成本函数 scikit learn
Posted
技术标签:
【中文标题】逻辑回归成本函数 scikit learn【英文标题】:logistic regression cost function scikit learn 【发布时间】:2018-03-01 15:26:06 【问题描述】:所以我已经完成了 coursera ml 课程,现在我正在研究 scikit-learn 逻辑回归,这有点不同。我一直在使用 sigmoid 函数,当 y=0 和 y=1 时,成本函数分为两种不同的情况。但是 scikit learn 有一个函数(我发现这是广义逻辑函数),这对我来说真的没有意义。
http://scikit-learn.org/stable/_images/math/760c999ccbc78b72d2a91186ba55ce37f0d2cf37.png 很抱歉,我没有足够的声誉来发布图片。
所以函数的主要关注点是当 y=0 时,成本函数总是有这个 log(e^0+1) 值,所以 X 或 w 是什么并不重要。有人可以解释一下吗?
【问题讨论】:
显示你对逻辑回归的原始定义,这是你学到的。 我认为这个答案可能对您有所帮助。 the answer! 【参考方案1】:如果我是正确的,您在此公式中的 $y_i$ 只能假设值 -1 或 1(在@jinyu0310 给出的链接中得出)。通常你使用这个成本函数(带有正则化)
(对不起,公式插入为图像,但这里不能使用乳胶,图像来自 goo.gl/M53u44)
因此,当 yi = 0 或 yi=1 时,您总是有两个项起作用。我正在尝试对 scikit 在此公式中使用的符号找到更好的解释,但到目前为止还没有运气。
希望对您有所帮助。只是用正则化因子编写成本函数的另一种方式。还要记住,所有事物前面的恒定因素不会在优化过程中发挥作用。因为您想找到最小值,并且对乘以一切的整体因素不感兴趣。
【讨论】:
以上是关于逻辑回归成本函数 scikit learn的主要内容,如果未能解决你的问题,请参考以下文章
Scikit-learn 逻辑回归的性能比 Python 中自己编写的逻辑回归差