机器学习中的数学原理——对数似然函数

Posted 2023-01-30 爱睡觉的咋

这个专栏主要是用来分享一下我在 机器学习中的 学习笔记及一些感悟，也希望对你的学习有帮助哦！感兴趣的小伙伴欢迎 私信或者评论区留言！这一篇就更新一下《 白话机器学习中的数学——对数似然函数》！

目录

一、什么是对数似然函数

二、算法分析

三、总结 

---

一、什么是对数似然函数

对数似然是Minitab 为了确定估计系数(β) 的最优值而最大化的表达式。 由于对数似然是样本数量的函数，因此它们的值不能单独作为拟合值的指数使用，但可以用来比较不同系数的拟合值。 由于您要最大化对数似然，因此值越大越好。

二、算法分析

之前我们已经接触过似然函数的概念，我们认为似然函数 L(θ) 中，使其值最大的参数θ能够最近似地说明训练数据。和随机梯度下降法一样，我们接下来要做的就是对似然函数进行微分，求出参数 θ。不过直接对似然函数进行微分有点困难，在此之前要把函数变形。联合概率中的概率都是 1 以下的数，所以像联合概率这种概率乘法的值会越来越小。如果值太小，编程时会出现精度问题。并且与加法相比，乘法的计算量要大得多。

想要解决这些问题，只要取似然函数的对数就好了。像这样在等式两边加上 log 即可：

 log 是单调递增函数。log 函数的图形如下所示：

 

图形一直向右上方延伸。单调递增函数是在 x1 < x2 时，f(x1) < f(x2) 的函数 f(x)。log(x)的图形一直向右上方延伸，而且在 x1 < x2时，log(x1) < log(x2)也成立。

我们现在考察的似然函数也是在 L(θ1) < L(θ2) 时，有logL(θ1) < logL(θ2) 成立。也就是说，使 L(θ) 最大化等价于使logL(θ) 最大化。我们把对数似然函数变形看看：

 每一行的变形分别利用了下面这些特性，好好理解一下：

• 第 2 行是 log(ab) = log a + log b
• 第 3 行是 log ab = b log a
• 第 4 行是 P(y(i) = 0|x(i) ) = 1 − P(y(i) = 1|x(i) )

前两个是对数函数的特性，下面对第 4 行进行解释：现在我们考虑的只有 y = 1 和 y = 0 两种情况，所以应有 P(y(i) = 0|x(i) ) + P(y(i) = 1|x(i) ) = 1

下面要做的就是就是进行偏分求未知量。前面讲了很多，总结一下就是逻辑回归将这个对数似然函数用作 目标函数。

 接下来，对各个参数 θj 求微分就行了：

 和回归的时候是一样的，我们把似然函数也换成这样的复合函数， 然后依次求微分。

 

 

 

这个是 u 对 v 微分，log(v) 的微分是 1/v。对 log(1 − v) 微分时，要像这样通过复合函数来求。还 要注意，这样做最后的表达式前面会有个负号。

 所以，微分结果是这样的：

 接下来是 v 对 θj 的微分：

这个看上去有点麻烦，不过其实我们已经知道了 sigmoid 函数的 微分是这样的，所以用这个应该就可以计算了。

现在 fθ(x)本身就是 sigmoid 函数，所以这个微分表达式可以直接使用。设 z = θTx，然后再一次使用复合函数的微分会比较好。

 

 

v 对 z 微分的部分也就是 sigmoid函数的微分。

 z 对 θj 的微分就简单了。

 接下来把结果相乘就好了：

 我们就代入各个结果，然后通过展开、约分，使表达式 变得更简洁。

接下来要做的就是从这个表达式导出参数更新表达式。不过现在是以最大化为目标，所以必须按照与最小化时相反的方向移动参数哦。也就是说，最小化时要按照与微分结果的符号相反的 方向移动，而最大化时要与微分结果的符号同向移动。

 为了与回归时的符号保持一致，也可以将表达式调整为下面这样。注意，η 之前的符号和∑中的符号反转了。这就是我们最终求得的结果表达式：

 

三、总结 

通过上面的推导，我们学习了最大似然函数，这与我们之前接触的最小二乘法不同，最小二乘法以误差作为评判标准，误差越小越好，而最大似然函数以概率作为评判标准，概率越大越好。在计算概率时，我们求了一次对数log计算，避免了连乘概率越来越小，受计算机计算进度影响也越来越大的问题。求得表达式之后的求微分也和我们之前讲的相似，只要采用连续偏导就可以了。计算过程挺复杂，不过最后的结果还挺简单的：