逻辑回归代价函数的详细推导

Posted loongnotdragon

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了逻辑回归代价函数的详细推导相关的知识,希望对你有一定的参考价值。

逻辑回归的本质是最大似然估计

逻辑回归的输出是

分别表示取1和取0的后验概率。将上面两式联系起来得到

取似然函数

再取对数

最大似然估计就是求使似然函数最大的参数θ。此时可以使用梯度上升法优化代价函数

取负号和求平均后得到J函数

此时就是求使J函数最小的参数θ。接下来用梯度下降法优化。

 

以上是关于逻辑回归代价函数的详细推导的主要内容,如果未能解决你的问题,请参考以下文章

逻辑回归原理

机器学习100天(十七):017 逻辑回归梯度下降

机器学习100天(十七):017 逻辑回归梯度下降

逻辑回归算法原理是啥?

逻辑回归LR算法LR优缺点LR推导LR损失函数

逻辑回归原理梳理_以python为工具 Python机器学习系列