logistic回归原理

Posted qq_784583650

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了logistic回归原理相关的知识,希望对你有一定的参考价值。

原理

1、二项logistic模型

p(y=1|x) = exp(w*x)/(1+exp(w*x))
p(y=0|x) = 1/(1+exp(w*x))
使用这种形式而不使用阶跃函数原因:由于阶跃函数在0点没有导数

2、模型参数优化
如何估计模型参数w:极大似然估计
梯度上升法:极大化对数似然函数L
w更新公式:w += x*(y - sigmoid(w*x))
推导过程可参见这篇文章,里面有些出入,下面评论有指出,总体还是挺好的

3、可以采用的策略

  • 随机初始化参数
  • 随机梯度上升

4、评价
做线性划分,对数据形式敏感。

以上是关于logistic回归原理的主要内容,如果未能解决你的问题,请参考以下文章

logistic回归原理和公式

转载:Logistic回归原理及公式推导

Python机器学习(十四)Logistic回归算法原理与代码实现

logistic回归原理

logistic回归原理

Logistic回归分类算法原理分析与代码实现