logistic回归原理
Posted qq_784583650
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了logistic回归原理相关的知识,希望对你有一定的参考价值。
原理
1、二项logistic模型
p(y=1|x) = exp(w*x)/(1+exp(w*x))
p(y=0|x) = 1/(1+exp(w*x))
使用这种形式而不使用阶跃函数原因:由于阶跃函数在0点没有导数
2、模型参数优化
如何估计模型参数w:极大似然估计
梯度上升法:极大化对数似然函数L
w更新公式:w += x*(y - sigmoid(w*x))
推导过程可参见这篇文章,里面有些出入,下面评论有指出,总体还是挺好的
3、可以采用的策略
- 随机初始化参数
- 随机梯度上升
4、评价
做线性划分,对数据形式敏感。
以上是关于logistic回归原理的主要内容,如果未能解决你的问题,请参考以下文章