Logistic Regression逻辑斯蒂回归

Posted 2023-01-18

​​Welcome To My Blog​​

Logistic Regression

logistic回归是统计学习中的经典分类方法,他属于对数线性模型,logistic回归来源于logistic分布,先从logistic分布说起

Logistic distribution

设X是连续随机变量,X服从logistic分布,其分布函数和概率密度函数如下:

分布函数

其中,μ为位置参数,s为形状参数

分布函数即为通常所说的logistic函数,其图像关于(μ,0.5)对称,满足:

F(-x+μ)+F(x-μ)=1

曲线在中心附近增长速度较快,在两端增长速度较慢.(这个特性将使得使用梯度下降优化模型时,可以对误分样本快速调整)

形状参数s的值越小,曲线在中心附近增长得越快

概率密度函数

其中,μ为位置参数,s为形状参数

二项logistic回归

二项logistic回归(binomial logistic regression)是一种分类模型,由条件概率分布P(Y|X)表示,形式为参数化的logistic分布.这里,随机变量X取值为实数,随机变量Y取值为1或0.通过监督学习的方法来估计模型参数

概率的公理化定义

柯尔莫哥洛夫给出了概率的公理化定义:
+ 0≤P(A)≤1
+ P(Ω)=1,P(∅)=0,必然事件概率为1,不可能事件概率为0
+ 加法定理:若干个互斥事件之和的概率等于各事件的概率之和,即P(A1+A2+…)=P(A)+P(B)+…事件的个数可以是有限的或无限的

条件概率分布

二项logistic回归模型是如下的条件概率分布(该条件概率分布满足上述公理化定义,所以可以作为概率,通过训练使得这个概率值更准确):

P(Y=1|x)=F(X≤x),P(Y=0|x)=1-F(X≤x)=F(X>x)

或表示成如下形式

logistic回归采用的是logistic分布函数,对于任意x,F(x)最小值为0,最大值为1,相当于把实数域R映射到(0,1)上.

对于给定的输入实例x,按照上式求出P(Y=1|x)和P(Y=0|x),比较两个条件概率的大小,将实例x分到概率值较大的那一类.

logistic回归模型的特点

事件发生的概率与不发生的概率之比称作事件的几率(odds),考察logistic回归的对数几率(log odds)或logit函数:

这就是说,在logistic回归模型中,输出Y=1的对数几率是输入x的线性函数.或者说,输出Y=1的对数几率是由输入x的线性函数表示的模型.(同样地,输出Y=0的对数几率是-wx,x越大则Y=0的对数几率越小,x越小则Y=0的对数几率越大.这样说不满足几率的定义,但是这样解释没有问题,嗯)

换一个角度看,考虑对输入x进行分类的线性函数wx,其值域为实数域.注意这里x∈R_(n+1),w∈R_(n+1).通过logistic回归模型可以将wx转换为概率.这时,线性函数wx的值越接近正无穷,概率值越接近1;线性函数wx的值越接近负无穷,概率值越接近0

这样的模型就是logistic回归模型

模型参数估计

关于极大似然法(Maximum Likelihood Estimation),可以参考之前的文章​​极大似然估计​​

求得使L(w)取得最大值的w也就得到logistic回归模型了

logistic回归学习中通常采用的方法是梯度下降法(Gradient descent)和拟牛顿法(Quasi Newton method),见之前的文章​​梯度下降​​​和​​拟牛顿法​​

多项logistic回归

之前介绍的是二项logistic回归,用于二分类.可以将其推广为multi-nomial logistic regression model.用于多类分类.

假设离散型随机变量Y的取值集合是1,2,…,K,那么多项logistic回归模型是:

二项logistic回归的参数估计方法也可以推广到多项logistic回归中

总结

曲线在中心附近增长速度较快,在两端增长速度较慢.(这个特性将使得使用梯度下降优化模型时,可以对误分样本快速调整)
1. 形式为参数化的logistic分布,即μ和s变成了w和b
2. P(Y=1|x)=F(X≤x),P(Y=0|x)=1-F(X≤x)=F(X>x)
3. logistic回归的对数几率是线性的:wx+b,所以logistic回归属于对数线性模型
4. 对数似然中对于单个样本的表达形式要有清晰的认识:P(yi|xi)=π(xi)^yi · [1-π(xi)]^(1-yi),决定这个式子形式的是yi

参考:
李航,统计学习方法