机器学习理论知识-逻辑回归

Posted 2023-02-05 cuihaoren01

紧接着上一章节的线性回归，这一周学习下逻辑回归。同样参照的资料斯坦福大学2014（吴恩达）机器学习教程中文笔记
那本文的知识体系如下：

基本知识点

定义

而线性回归$y_i=w_i\ast x_i+b$，模型的范围是可以为$\\left -∞，+∞ \\right $，线性回归能预测连续的值，然而对于分类问题，我们的因变量可能属于两个类别正向类和负向类，即$y\\in \\left 0,1\\right $，我们可以设置某个阈值来进行划分，那这个阈值怎么选择呢，是不太好选择的。那么我们就需要引入一个函数$g(x)$，将模型的输出变量范围控制在$\\left [ 0,1 \\right ] $，所以逻辑回归的模型假设是：$h_\\theta (x)=g(\\theta ^TX) $，其中$X$表示特征向量，$g$表示逻辑函数，常用的逻辑函数是sigmoid函数$g(z)=\\frac11+e^-z $

所以逻辑回归的表达是：
$$h_{\theta }(x)=P(y=1|x;\theta )=\frac{1}{1+e^{-{\theta }^{T}X}}$$
即：给定x，通过已经确定的参数计算得到$h_{\theta }(x)=0.7$，则表示有70%的概率y为正向类，相应地y为负向类的概率为30%.

解决哪些问题：

在分类问题中，我们尝试预测的是结果是否属于某一个类（例如正确或错误）。分类问题的例子有：判断一封电子邮件是否是垃圾邮件；判断一次金融交易是否是欺诈；之前我们也谈到了肿瘤分类问题的例子，区别一个肿瘤是恶性的还是良性的。

分类问题实际上就是找到一个足够优秀的判定边界。

代价函数

逻辑回归的代价函数：
$$J(\theta )=\frac{1}{m}Cost(h_{\theta }(x^{(i)},y^{(i)})$$
其中：

其中$h_{\theta }(x)$与$Cost(h_\\theta (x ,y)) $的关系图如下：

这样的话构造的$Cost(h_\\theta (x ,y)) $函数的特点是：当实际$y=1$且$h_\\theta (x)$也为1时误差为0，当$y=1$但$h_\\theta (x)$不为1时误差随着$h_\\theta (x)$的变小而变大；当实际的$y=0$且$h_\\theta (x)$也为0时代价为0，当$y=0$且$h_\\theta (x)$不为0时，误差随着$h_\\theta (x)$的变大而变大。

最后简化得到：
$J\left(\theta \right)=\frac{1}{m}\sum _{i=1}^m[-y^{(i)}\log \left(h_{\theta }\left(x^{(i)}\right)\right)-\left(1-y^{(i)}\right)\log \left(1-h_{\theta }\left(x^{(i)}\right)\right)]$
接着我们就可以使用梯度下降算法，对该代价函数求解最优值。

推导

推导过程在原始笔记中记录的十分详细，如下图：

所以如果要更新参数的话，应该是通过如下式子进行更新：

与线性回归的异同

• 线性回归只能用于回归问题，逻辑回归虽然名字叫回归，但是更多用于分类问题
• 线性回归要求因变量是连续性数值变量，而逻辑回归要求因变量是离散的变量
• 线性回归与逻辑回归其梯度下降算法进行参数更新的规则是一致的，都是${\theta }_j:={\theta }_j-\alpha \frac{1}{m}\sum _{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)}){x_j}^{(i)}$，但是线性回归与逻辑回归的表达式不太一致，线性回归的表达式为：$h_{\theta }\left(x\right)={\theta }^{T}X={\theta }_0$