逻辑回归原理

Posted 2021-02-12 keye

来自：刘建平

 

逻辑回归是分类算法，可以处理二元分类和多元分类。

名字里有“回归”二字，但不是回归算法。为什么名字有“回归”这个误导词？因为它的原理有回归模型的影子。

 

1. 从线性回归到逻辑回归

线性回归模型是求Y和X之间的线性关系系数Θ，满足Y= XΘ。此时Y是连续的，所以是回归模型。

Y是离散的话，对Y再做一次函数转换，变为g(Y)。如果g(Y)结果类别是两种，就是二元分类模型。

 

2. 二元逻辑回归的模型

对线性回归的结果做函数g的转换，变为逻辑回归。g一般取sigmoid函数：

取sigmoid函数，主要因为两个性质：

• 当z趋于正无穷时，g(z)趋于1，当z趋于负无穷，g(z)趋于0。
• （导数性质）

令g(z)中的z为：z = xΘ，得到二元逻辑回归模型一般形式：

       其中x为样本输入，h_Θ(x)为模型输出，可以是某一分类的概率大小。h_Θ(x)和二元分类样本y（假设为0和1）有这样对应关系，如果h_Θ(x)>0.5，即xΘ>0，则y为1。如果h_Θ(x)<0.5，即xΘ<0，则y为0。y = 0.5是临界情况，此时xΘ=0，无法确定分类。

       h_Θ(x)值越小，分类为0的概率越高；值越大，分类为1的概率越高。靠近临界点，分类准确率会下降。

 

模型的矩阵模式：

其中h_Θ(X)为模型输出，m*1维度。X为样本特征矩阵，为m*m维度。Θ为模型系数，为n*1的向量。

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

hθ(x)