逻辑回归和判别分析的区别

Posted 2023-04-13

logistic回归与判别分析

wlj1107
回答于 2017-10-16
一.logistic回归
1.理论介绍
（1）logistic回归的引入
是一个二分类的监督学习方法，在二分类中，为什么弃用传统的线性回归模型，改用logistic回归？
原因有两点：
（1）二分类取值范围是[0,1]，而普通线性回归的范围是实数集；
（2）实际中很多问题，输入与输出之间的关系并不是线性关系，即可能更多的是x取值很小或很大对因变量影响不大，但是当自变量取中间值的时候对因变量影响比较大。
（2）logistic回归模型的实现
sigmoid函数是一条S形曲线，特点就是当输入很小或很大时，输出变化不明显，但是对于在输入取值在范围是中间的时候，变化很大，这符合 很多实际问题，且取值范围是0到1之间。
将自变量的线性函数的和带入sigmoid函数，即可使因变量y映射到[0,1]区间范围上，即将自变量的线性函数转化为概率，输入的线性函数越接近于正无穷，概率值越接近于1，输入的线性函数的值越接近于负无穷，概率值越接近于0，这就是logistic模型。
接下来就需要对logistic模型进行求解，即求出各个特征的回归系数。 参考技术A 逻辑回归指的是逻辑推理能力回归自己本身，而辨别分析主要是对某一事物进行分辨思维的扩展，他们两个不相同。 参考技术B 逻辑回归和判别分析的区别:
和逻辑回归相比: (1)判别分析可以用于多分类情况; (2)线性判别分析比逻辑回归更稳定; (3)利用贝叶斯定理计算后验概率,当条件概率分布是正态分布,和逻辑回归很相似。

判别式模型和生成式模型

判别式模型和生成式模型主要区别是他们的构造方法不一样

判别式模型概念：直接基于条件概率来构造P(y|x)，不需要求联合概率，属于此类型的算法有逻辑回归、决策树、KMM、K_meas、SVM

生成式模型概念：基于贝叶斯公式来构造的，需要求联合概率，典型的生成式模型有贝叶斯