logistic回归原理

Posted 2022-11-21 qq_784583650

原理

1、二项logistic模型

p(y=1|x) = exp(w*x)/(1+exp(w*x))
p(y=0|x) = 1/(1+exp(w*x))
使用这种形式而不使用阶跃函数原因：由于阶跃函数在0点没有导数

2、模型参数优化
如何估计模型参数w：极大似然估计
梯度上升法：极大化对数似然函数L
w更新公式：w += x*(y - sigmoid(w*x))
推导过程可参见这篇文章，里面有些出入，下面评论有指出，总体还是挺好的

3、可以采用的策略

• 随机初始化参数
• 随机梯度上升

4、评价
做线性划分，对数据形式敏感。