逻辑斯谛回归，softmax回归与最大熵模型

Posted 2021-01-02 siberiawind

---

逻辑斯谛回归(logistic regression)是统计学习中的经典分类方法
最大熵是概率模型学习的一个准则，被推广到分类问题后可得到最大熵模型(Maximum Entropy Model)
逻辑斯谛回归模型与最大熵模型都属于对数线性模型，而对数线性模型又是广义线性模型的一种。
科普一下：狭义的线性模型是指 自变量的线性预测 就是 因变量的估计值， 而广义的线性模型是指 自变量的线性预测的函数 是 因变量的估计值。

逻辑斯谛回归

逻辑斯蒂分布

logistic distribution，设X是连续随机变量，X服从逻辑斯蒂分布是指X具有下列分布函数和密度函数[F(x)=P(X le x)=frac{1}{1+e^{-frac{x-mu}{gamma}}}]，式中(mu)是位置参数，(gamma)是形状参数

二项逻辑斯谛回归模型

二项逻辑斯谛回归模型(binomial logistic regression model)是一种二分类模型，由条件概率分布P(Y|X)表示，形式为参数化的逻辑斯蒂分布。
变量X取值为实数，变量Y取值为0或1。我们通过监督学习的方法来估计得到模型的参数。
随机变量X输入到二项逻辑斯谛回归模型中得到属于某一类别的概率(= wcdot x + b)为：
(P(Y=1|X)=frac{e^{wcdot x + b}}{1 + e^{f(x)}})
(P(Y=0|X)=frac{1}{1 + e^{f(x)}})

在逻辑回归模型中，输出Y=1的对数几率是输入x的线性函数，换句话说，输出Y=1的对数几率是由输入x的线性函数表示的模型，即逻辑斯谛回归模型。

在二项逻辑回归模型中，它的目标函数是
(J(w)=-frac{1}{N}sum_{n=1}^N y^n log g(f(x^n)) + (1-y^n) log (1-g(f(x^n))))

参考链接：

对数线性模型之一(逻辑回归), 广义线性模型学习总结（转）