逻辑回归成本函数 scikit learn

Posted 2023-03-12

【中文标题】逻辑回归成本函数 scikit learn

【英文标题】：logistic regression cost function scikit learn

【发布时间】：2018-03-01 15:26:06

【问题描述】：

所以我已经完成了 coursera ml 课程，现在我正在研究 scikit-learn 逻辑回归，这有点不同。我一直在使用 sigmoid 函数，当 y=0 和 y=1 时，成本函数分为两种不同的情况。但是 scikit learn 有一个函数（我发现这是广义逻辑函数），这对我来说真的没有意义。

http://scikit-learn.org/stable/_images/math/760c999ccbc78b72d2a91186ba55ce37f0d2cf37.png 很抱歉，我没有足够的声誉来发布图片。

所以函数的主要关注点是当 y=0 时，成本函数总是有这个 log(e^0+1) 值，所以 X 或 w 是什么并不重要。有人可以解释一下吗？

【问题讨论】：

显示你对逻辑回归的原始定义，这是你学到的。

我认为这个答案可能对您有所帮助。 the answer!

【参考方案1】：

如果我是正确的，您在此公式中的 $y_i$ 只能假设值 -1 或 1（在@jinyu0310 给出的链接中得出）。通常你使用这个成本函数（带有正则化）

（对不起，公式插入为图像，但这里不能使用乳胶，图像来自 goo.gl/M53u44）

因此，当 yi = 0 或 yi=1 时，您总是有两个项起作用。我正在尝试对 scikit 在此公式中使用的符号找到更好的解释，但到目前为止还没有运气。

希望对您有所帮助。只是用正则化因子编写成本函数的另一种方式。还要记住，所有事物前面的恒定因素不会在优化过程中发挥作用。因为您想找到最小值，并且对乘以一切的整体因素不感兴趣。