逻辑回归寻找最佳θ向量

Posted 2022-03-04 csfreebird

3 寻找θ向量

前面介绍了如何在实际场景中使用预测函数计算概率，但是关键在于如何找到合适的 θ

向量。本节重点讨论这方面的数学原理。

3.1 最大似然公式

不过一般情况下，我们是没有办法轻易获得θ的。所以需要一些方法来推导出θ。如果训练集 T 为 (x1,y1)(x2,y2)(x3,y3)(x4,y4)(x5,y5)...

，其中： xi 为自变量， yi

为自变量对应的分类（1 或者 0), 可以应用对数似然估计法估计参数θ

3.1.1 先建立概率公式

P(y|x;θ)=(hθ(x))y(1−hθ(x))1−y(2)

这里 y＝0 或者 1,这是一个常用的技巧，通过 y=0 或者 1 将两个概率公式组合在一起。

3.1.2 建立似然公式

L(θ|x1,x2,…,xn)=∏i=1nP(yi|xi;θ)=∏i=1n(hθ(x))yi(1−hθ(x))1−yi(3)

这个公式这样理解

• 1 批样本中每个样本的特征向量 x1,x2,…,xn

的和权重 θ

• 向量作为输入参数后面用 x 表示特征向量
• 对每一个样本的预测值的效果评分
  分数这么表示：概率>0.5 的判定为预测为 1, 分数就取 hθ(x)y
• , 概率<=0.5 的判定为预测为 0, 分数就取 1−hθ(x)1−y
• 
  
• 获得这批样本的总评分
  把每个样本的评分相乘就得到这批样本在取 θ
• 向量值时的总评分这里，连乘公式用到的 i=1..n, i 是样本编号，不是特征编号。
• 需要用数学方式找到一个 θ
• • 向量，使得总评分最高这需要用到最大似然公式

  3.1.3 建立最大对数似然公式

  最大似然公式通常用对似然公式取对数来简化计算，因为

  1. 对数函数是单调递增的，可以用它来找似然公式的最大值
  2. 对数可以将乘法转换成加法,参考对数运算法则，从而简化计算

  对上式采用最大对数似然公式

  l(θ)=lnL(θ|x1,x2,…,xn)=ln∏i=1n(hθ(x))yi(1−hθ(x))1−yi=∑以上是关于逻辑回归寻找最佳θ向量的主要内容，如果未能解决你的问题，请参考以下文章

  逻辑回归原理小结

  ng机器学习视频笔记 ——线性回归的多变量特征缩放标准方程法

  支持向量基

  吴恩达《机器学习》课程总结逻辑回归

  stanford coursera 机器学习编程作业 exercise 6（支持向量机-support vector machines）

  斯坦福2014机器学习笔记九----支持向量机