逻辑回归（Logistic Regression）

Posted 2022-09-05 Debroon

逻辑回归（Logistic Regression）

• • 线性模型
  • 损失函数
  • 损失函数的梯度
  • 解决二分类问题：鸢尾花分类
  • 解决多分类问题：OvR、OvO

 

---

线性模型

逻辑回归，本质是一种线性模型 $y=wx+b$。

• 线性模型的来龙去脉，请参考:《神经网络的结构》。

不过逻辑回归和线性模型不同的是，为了实现二分类任务，加了 $sigmod$ 函数。

• 这个不仅要满足映射到 [0,1]，还要满足：当 x = 0 时；y 正好为 0.5；且 x = 负无穷 和 x = 正无穷的时候，y 分别趋近于 0 和 1。
• $sigmoid$ 是连续可导函数，为我们计算带来了方便。
• $sigmoid$ 是最简单的满足这样条件的函数，更“自然”，数学上的解释 —— 满足最大似然估计的结果

$sigmoid$ 函数，使得预测的结果从样本成绩变成了样本成绩的概率。

• 样本成绩：$y=wx+b$
• 样本成绩的概率：$p=\sigma (y)=\frac{1}{1+e^{wx+b}}$

如果这个概率 $p>0.5$，把这个数据分类为 $y=1$（正样本）。

如果这个概率 $p<0.5$，就把这个数据分类为 $y=0$（负样本）。

 

---

损失函数

这个损失函数的意义是模型预测出来的值 $p$ 要和样本的标签值 $y$ 尽量一致，即正样本的预测值要尽量为正，负样本要为负，否则会产生一个损失值。

按照 $y、p$ 之间的关系，我们反过来设计：

• 如果样本的标签值 $y=1$，模型预测出来的值 $p越小$，损失值越大
• 如果样本的标签值 $y=0$，模型预测出来的值 $p越大$，损失值越小

用数学语言表达：

• $-log(p)ify=1$
• $-log(1-p)ify=0$

函数图像：

当 $p$ 接近 1 时，损失函数接近正无穷，会分为正样本，但实际值却是负样本。

所以，我们会给一个正无穷的惩罚，直到 $p$ 的减小，惩罚值会越来越低，直到当 $p=0$ 时，会分为负样本，实际值也是负样本，就没有惩罚。

不过目前这个损失函数是分类函数形式，我们需要合并为一个函数：

• $L(p,y)=-ylog(p)-(1-y)log(1-p))$

这是对单个训练样本（一张图）的损失函数，但我们输入都神经网络的通常是一个训练集（大量的图片）。

我们需要累加单个训练样本的结果，再求平均值：

• $\frac{1}{m}{\sum }_{i=1}^{m}L(p_i,y_i)$

为什么使用这个损失函数呢？

这个损失函数（逻辑回归）的函数图像是一个向下凸的图形。

因为学习，就是找到一组 w 和 b，使这个损失函数最小。

也就是在这个函数图像的底部找到一组 w 和 b。

这个损失函数没有局部最优解，只存在唯一的全局最优解。

我们要做的，是求出成本函数的梯度，而后运用梯度下降法求出损失最小的一组 w 和 b。

 

---

损失函数的梯度

损失函数 $Loss(p,y)$，是指对单个样本的做的损失。

成本函数 $J(\theta )$，是数据集上总的成本和损失。

• $J(\theta )=-\frac{1}{m}{\sum }_m^{i=1}{y}_{i}log(\sigma (X_b^i\theta ))+(1-y_i)log(1-\sigma (X_b^i\theta ))$

求损失函数的梯度：$\Delta J=\left\{\begin{array}{c}\frac{\partial J(\theta )}{\partial {\theta }_0}\\ \frac{\partial J(\theta )}{\partial {\theta }_1}\\ \cdot \cdot \cdot \\ \frac{\partial J(\theta )}{\partial {\theta }_n}\end{array}\right\}$

比较难处理的就是 $\sigma (t)$：

• $\sigma (t)=\frac{1}{1+e^{-t}}=(1+e^{-t}{)}^{-1}$

对 $\sigma (t)$ 求导：

• σ ( t ) ′ = − ( 1 + e − t ) − 2 ⋅ e − t ⋅ ( − 1 ) = ( 1 + e − t ) − 2 ⋅ e − t \\sigma(t)'=-(1+e^-t)^-2·e^-t·(-1)=(1+e^-t)^-2·e^-t σ(t)′=−(1+e−t<

  以上是关于逻辑回归（Logistic Regression）的主要内容，如果未能解决你的问题，请参考以下文章

  机器学习——逻辑回归（Logistic Regression）

  逻辑回归（Logistic Regression）

  逻辑回归（Logistic Regression, LR）

  逻辑回归（logistic regression）

  Logistic Regression逻辑回归

  logistic regression与最大熵模型·逻辑斯蒂回归模型