个人对逻辑回归的理解

Posted 2021-03-07 冯风风

概念：

        一种常用于解决分类问题的机器学习方法，通俗地说就是推测一件事情发生的概率有多大。

　　例如判断某病人身上的肿瘤是良性还是恶性，结合肿瘤大小，厚度，位置等变量来预测，如果Y=0代表良性，Y=1代表恶性，这里的因变量Y只会是0或者1，就是最常见的二分类问题，逻辑回归也可用于多分类问题。

　　从之前的学习中可以知道在线性回归模型中变量常常是连续的，而逻辑回归问题中的变量一般是离散的，无序的。

 

公式推导：

　　我们希望假设函数  h_(θ) (x) = Θ^TX 的输出值在0到1之间，为了进行分类，需要利用 Sigmoid函数（逻辑函数）。

　　函数表达式为   

 

　　图像大概是这样  

　　

　　由图可知，当 z 趋近负无穷时，g(z) 趋近于0；当 z 趋近正无穷时，g(z) 趋近于1。

　　现在将 z 取代为 h_(θ) (x)，由  h_(θ) (x) = g(Θ^TX) 可得公式 

 

　　此时计算出的值 h_(θ) 可以看做Y为0或1的概率，以0.5为界限，如果 h_(θ)  大于等于 0.5，我们就可以预测Y为1；如果h_(θ)  小于 0.5，Y就为0。