逻辑回归--计算概率

Posted taro_秋刀鱼

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了逻辑回归--计算概率相关的知识,希望对你有一定的参考价值。

许多问题需要将概率估算值作为输出。逻辑回归是一种极其高效的概率计算机制。实际上,您可以通过下两种方式之一使用返回的概率:

  • “按原样”
  • 转换成二元类别

我们来了解一下如何“按原样”使用概率。假设我们创建一个逻辑回归模型来预测狗在半夜发出叫声的概率。我们将此概率称为:

$$p(bark | night)$$

如果逻辑回归模型预测 p(bark | night) 的值为 0.05,那么一年内,狗的主人应该被惊醒约 18 次:

$$startled = p(bark | night) * nights$$

\\[18 ~= 0.05 * 365 \\]

在很多情况下,您会将逻辑回归输出映射到二元分类问题的解决方案,该二元分类问题的目标是正确预测两个可能的标签(例如,“垃圾邮件”或“非垃圾邮件”)中的一个。之后的单元会重点介绍这一内容。

您可能想知道逻辑回归模型如何确保输出值始终落在 0 和 1 之间。巧合的是,S 型函数生成的输出值正好具有这些特性,其定义如下:

$$y\' = \\frac{1}{1 + e^{-(z)}}$$

S 型函数会产生以下曲线图:

image

图1 S型函数


如果 z 表示使用逻辑回归训练的模型的线性层的输出,则 S 型(z) 函数会生成一个介于 0 和 1 之间的值(概率)。用数学方法表示为:

$$y\' = \\frac{1}{1 + e^{-(z)}}$$

其中:

  • y\' 是特定样本的逻辑回归模型的输出。
  • z 是 b + w1x1 + w2x2 + ... wNxN
    • “w”值是该模型学习的权重和偏差。
    • “x”值是特定样本的特征值。

请注意,“z”也称为“对数几率”,因为 S 型函数的对立面表示,z 可定义为标签“1”(例如“狗叫”)的概率除以标签“0”(例如“狗不叫”)的概率得出的值的对数:

$$z = log(\\frac{y}{1-y})$$
> 以下是具有机器学习标签的 S 型函数:

image


引用

逻辑回归 (Logistic Regression):计算概率

以上是关于逻辑回归--计算概率的主要内容,如果未能解决你的问题,请参考以下文章

逻辑回归(Logistic Regression, LR)

ggplot2:逻辑回归 - 绘制概率和回归线

机器学习-非线性回归( Unlinear Regression) -逻辑回归(Logistic Regression)算法

朴素贝叶斯与逻辑回归

R:计算和解释逻辑回归中的优势比

逻辑回归与朴素贝叶斯的战争