《统计学习方法》--逻辑斯谛回归模型

Posted 2022-11-24 兜里有糖心里不慌

《统计学习方法》第六章–逻辑斯谛回归模型

逻辑斯谛回归概述

逻辑斯谛回归的主要思想是：根据现有数据对分类边界线建立回归公式，以此进行分类。这里的“回归”一词源于最佳拟合，表示要找到最佳拟合参数。而最佳拟合参数就是在训练分类器时，通过最优化算法获得。

逻辑斯谛分布

设$X$是连续随机变量，$X$服从逻辑斯谛分布是指$X$具有以下分布函数和概率密度函数：$$F(x)=P(X\le x)=\frac{1}{1+e^{-(x-\mu )/\gamma }}$$ $$f(x)=F^{\prime }(x)=\frac{e^{-(x-\mu )/\gamma }}{\gamma (1+e^{-(x-\mu )/\gamma }{)}^2}$$其中$\mu$为位置参数，$\gamma >0$为形状参数

二项式逻辑斯谛回归模型

$$P(Y=1|x)=\frac{exp(\omega \cdot x+b)}{1+exp(\omega \cdot x+b)}$$$$P(Y=0|x)=\frac{1}{1+exp(\omega \cdot x+b)}$$
这里$x\in R^n$是输入，$Y\in 0,1$是输出，$\omega \in R^n$和$b\in R^n$是参数，$\omega$称为权值向量，$b$称为偏置，$\omega \cdot x$是$\omega$和$X$的內积

对于给定的输入实例$X$，按照上式可以求得实例属于两种类别的概率，逻辑斯谛回归模型比较两个概率的大小，将实例归入概率较大的那一类中。

模型参数估计

对于给定的训练数据集$T=(x_1,y_1),(x_2,y_2)...(x_N,y_N)$其中$x_i\in R^n,y_i\in 0,1$可以应用极大似然估计来得到模型的参数，从而得到逻辑斯谛回归模型。

设$$P(Y=1|x)=\pi (x),P(Y=0|x)=1-\pi (x)$$则可得似然函数$$\prod _{i=1}^N[\pi (x_i){]}^{y_i}[1-\pi (x_i){]}^{1-y_i}$$对数似然函数为：$$L(\omega )=\sum _{i=1}^N[y_i\log \pi (x)+(1-y_i\log (1-\pi (x_i)))]$$即最终变成求解$L(\omega )$极大值的问题。一般可以采用梯度下降或者是拟牛顿法求解

最后求出$\omega$的极大似然估计值即可得到逻辑斯谛回归模型。

多项式逻辑斯谛回归

二项式逻辑斯谛回归应用于二类分类问题，将其推广到多项式逻辑斯谛回归就可以应用于多类分类问题。

假设离散型随机变量$Y$的取值集合是$1,2,...,K$则多项式逻辑斯谛回归模型是$$P(Y=k|x)=\frac{\exp ({\omega }_k}{1+{\sum }_{k=1}^{K-1}\exp ({\omega }_k\cdot x)}$$

逻辑斯谛（Logistic）回归参数估计教程

资源分享今日学习打卡--逻辑斯谛回归 (Logistic Regression)

李航统计学习方法(第二版)：逻辑斯谛回归

《统计学习方法》--逻辑斯谛回归模型

《统计学习方法》--逻辑斯谛回归模型

统计学习六：1.对数线性模型之逻辑回归