逻辑回归寻找最佳θ向量

Posted csfreebird

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了逻辑回归寻找最佳θ向量相关的知识,希望对你有一定的参考价值。

3 寻找θ向量

前面介绍了如何在实际场景中使用预测函数计算概率,但是关键在于如何找到合适的 θ

向量。本节重点讨论这方面的数学原理。

3.1 最大似然公式

不过一般情况下,我们是没有办法轻易获得θ的。所以需要一些方法来推导出θ。如果训练集 T 为 (x1,y1)(x2,y2)(x3,y3)(x4,y4)(x5,y5)...

,其中: xi 为自变量, yi

为自变量对应的分类(1 或者 0), 可以应用对数似然估计法估计参数θ

3.1.1 先建立概率公式

P(y|x;θ)=(hθ(x))y(1hθ(x))1y(2)

这里 y=0 或者 1,这是一个常用的技巧,通过 y=0 或者 1 将两个概率公式组合在一起。

3.1.2 建立似然公式

L(θ|x1,x2,,xn)=i=1nP(yi|xi;θ)=i=1n(hθ(x))yi(1hθ(x))1yi(3)

这个公式这样理解

  • 1 批样本中每个样本的特征向量 x1,x2,,xn
的和权重 θ

  • 向量作为输入参数后面用 x 表示特征向量
  • 对每一个样本的预测值的效果评分
    分数这么表示:概率>0.5 的判定为预测为 1, 分数就取 hθ(x)y
  • , 概率<=0.5 的判定为预测为 0, 分数就取 1hθ(x)1y

  • 获得这批样本的总评分
    把每个样本的评分相乘就得到这批样本在取 θ
  • 向量值时的总评分这里,连乘公式用到的 i=1..n, i 是样本编号,不是特征编号。
  • 需要用数学方式找到一个 θ
    • 向量,使得总评分最高这需要用到最大似然公式

    3.1.3 建立最大对数似然公式

    最大似然公式通常用对似然公式取对数来简化计算,因为

    1. 对数函数是单调递增的,可以用它来找似然公式的最大值
    2. 对数可以将乘法转换成加法,参考对数运算法则,从而简化计算

    对上式采用最大对数似然公式

    l(θ)=lnL(θ|x1,x2,,xn)=lni=1n(hθ(x))yi(1hθ(x))1yi=以上是关于逻辑回归寻找最佳θ向量的主要内容,如果未能解决你的问题,请参考以下文章