逻辑回归(logistic回归)

Posted steed

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了逻辑回归(logistic回归)相关的知识,希望对你有一定的参考价值。

前言

           以下内容是个人学习之后的感悟,转载请注明出处~

 

 

逻辑回归

一、为什么使用logistic回归

    一般来说,回归不用在分类问题上,因为回归是连续型模型,而且受噪声影响比较大。    

      Why?  为什么回归一般不用在分类上?其实,很多初学者都会提出这个问题。然而,文字的解释往往不能说服我们,接下来

用图示的方式为大家讲解。

       以最简单的分类为例,当y≥0.5时,输出“1”;当y<0.5时,输出“0”。下面左图,数据样本较好,线性回归模型在y=0.5处的橘色分界线

刚好在“0”、“1”两类样本的分界线处,完美地完成分类。然而,现实情况往往没有这么乐观,下面有图中出现了一个额外的样本,所谓的噪

声点,会使训练完毕的线性回归模型准确度变差。从右图中可以做直观地看到,线性回归模型在y=0.5处的粉色分界线将一个“1”类样本分类到

“0”类样本集中,此时就出现了判断失误。

        所以线性回归一般不用在分类问题上,如果非要用于分类,可以使用logistic回归。

        逻辑回归为什么可以用在分类上?why?

        原因很简单,逻辑回归本质上是线性回归,只是在特征到结果的映射中加入了一层函数映射,即先把特征线性求和θTx,设为z,然后使用函

g(z)作为假设函数来预测。g(z)可以将连续值映射到0和1上。如下图所示,当z≥0时,输出为1;当z<0时,输出为0。这样可以实现很好的分类。

具体实现请看下文~

                                                               

 

二、logistic回归

  • 假设函数:

                                  

  • 初始代价函数:

                                    

                                 (细心的童鞋会发现,这里的代价函数与线性回归模型中的J(θ0,θ1)不一样,其实就是整体误差和平均误差的区别。

                                  显然,由于S型函数的存在,代价函数是非凸函数,无法使用梯度下降法来求极小值。这就需要转换为下面的简易代价函数。

  • 简易代价函数:

                                  说实话,这一步,我也不知道是怎么推导的,有哪位大神知道的话,请不吝赐教~

                                  

           然而,要想使用梯度下降法,还需要转换为J(θ)代价函数

  • J(θ)代价函数(凸函数):

                                  

  • 使用方法:

                  1、采用梯度下降法,不断迭代下列公式,直到收敛,求出θ。

                      

 

                             其推导过程如下:

                     

 

                                   细心的童鞋可能会注意到,逻辑回归和线性回归在梯度下降法中使用的迭代公式竟然一样。其实不然,不同点在于

                      迭代公式中的hθ(x):

                                逻辑回归:   

                                线性回归:    

 

                        2、判断θTx的大小来分类。

                        “y=1”,当θTx≥0

                        “y=0”,当θTx<0

                   (很容易发现θTx=0是分类的决策边界

 

三、多分类逻辑回归

        使用逻辑回归算法进行多分类时,可以设其中一类为1,其他都为0,建立一个分类器,以此类推,遍历全部类别,建立N个分类器。

如下表所示,总共3个类别,因此设立3个分类器,每个分类器的样本训练由上文中的二分类步骤完成。

三角形设为1,其他设为0。作为分类器1,即hθ(1)(x)
正方形设为1,其他设为0。作为分类器2,即hθ(2)(x)
红十字设为1,其他设为0。作为分类器3,即hθ(3)(x)

         每个分类器训练完毕后,取一个新的x数据,代入3个分类器中,哪个求出的h值最大,则这个分类器可信度最高,此分类器的“1”类别

就是此x的类别。

 

 

 

以上是全部内容,如果有什么地方不对,请在下面留言,谢谢~

以上是关于逻辑回归(logistic回归)的主要内容,如果未能解决你的问题,请参考以下文章

逻辑回归(Logistic Regression)

机器学习之 Logistic 回归(逻辑回归)

逻辑斯谛(Logistic)回归参数估计教程

Spark MLlib速成宝典模型篇02逻辑斯谛回归Logistic回归(Python版)

逻辑回归(logistic回归)

TensorFlow训练Logistic回归