高级计量经济学 13：最大似然估计(下)

Posted 2023-05-07

参考技术A

此文内容为《高级计量经济学及STATA应用》的笔记，陈强老师著，高等教育出版社出版。

我只将个人会用到的知识作了笔记，并对教材较难理解的部分做了进一步阐述。为了更易于理解，我还对教材上的一些部分（ 包括证明和正文 ）做了修改。

目录

在计量经济学中，常常使用以下三类大样本下渐近等价的统计检验。对于 线性回归模型 ，检验原假设为 ，其中 为未知参数， 已知，共有 个约束。

通过研究 的无约束估计量 和 的距离来进行检验

他检验的东西是我所估计出来的 是否可能等于

其基本思想是，如果 正确，那么 与 的距离应该不要很大（注意，这里是 和 的距离 ）。Wald Test 统计量为：

其中， 为约束条件的个数（即解释变量的个数），其证明在 高级计量 第6、7期有，大家可以回顾（也可以在我的上看）， 我在这里多嘴说一下如何理解它 。

我们从标量的情形开始。显然 衡量了 和 的距离。但是，这有两个问题：

由于出现了上面的两个困境，于是我们就很容易想到标量情形下 Wald Test 的表达式：

也就是：

的形式。

很容易拓展到向量的情形。如果我们要对多个参加进行检验，那么 就变成了向量 ，此时 虽然也可以反映两个向量之间的距离，但绝对值的数学性质并不良好，我们更多的是使用欧拉距离，也就是使用

的形式（ 二次型 ）。同样地，这个式子还没有解决 把握 和 量纲 的问题，于是我们也需要对它除以“标准差”。我们前面已经反复强调，在向量下的除法运算就是 逆 、向量下的方差就是 协方差矩阵 、向量下的二次函数就是 二次型 ，那么于是我们就有：

这就是 Wald Test 统计量的来源。至于它如何收敛到 分布，请移步 高级计量 第6、7期。

通常来说，无约束的似然函数最大值 比有约束的似然函数最大值 更大，这是因为无约束条件下的参数空间 显然比带约束的参数空间 更大，即： 。

LR的思想是，如果 正确，那么 不应该很大。在 正确下， ，那么LR统计量就是：

证明的方法是将LLF做二阶泰勒展开（因为MLE的一阶条件表明， ，可以看前一篇文章）。 高级计量7 中的 统计的似然比表达式就是按照这个原理设计的。

下面的证明我没有参考别的资料，我尽量做到严谨，推着玩玩儿。

考虑有约束条件的对数似然函数最大化问题：

引入拉格朗日函数：

其中， 为拉格朗日乘子向量，如果 ，那么说明此约束条件 不紧 （tight）或者不是 硬约束 （binding constraint），加上这个约束条件并不会使似然函数的最大值下降很多，即原假设 很可能成立。根据上述问题的一阶条件，对 求导，有：

即最优的拉格朗日乘子 等于似然函数在 处的梯度向量，那么 统计量为：

其中， 为信息矩阵在 处的取值。由于 有被称作 得分函数 （score function），所以这个检验也被称为 得分检验 （score test）；而 正正是得分函数的协方差矩阵，这我们前面已经证明过了。直观来说，就是由于在无约束估计量 处，得分函数为 向量，那么如果原假设 成立，那么在约束估计量 处，梯度向量也应该接近于 向量，即：

而 统计量反应的就是此接近程度。

总之，Wald检验仅利用无约束估计的信息；LM检验仅使用有约束估计的信息；LR检验同时利用了有约束和无约束估计的信息。在原假设为 下，我总结了下表：

在大样本下，三种检验是渐近等价的；在小样本下， 。

另外，如果不对模型的具体概率分布作假设，则无法得到似然函数，于是就一般没有办法使用 检验和 检验；不过 检验依然可以使用。所以 检验的使用范围最广。

如果随机变量不服从正态分布，却使用了以正态分布为前提的最大似然估计法，该估计量 仍有可能是一致的 ！

定义 使用不正确的似然函数而得到的最大似然估计，称为 准最大似然估计 （Quasi MLE, QMLE）或 伪最大似然估计 （Pseudo MLE）。

之所以在某些情况下可以“歪打正着”地得到一致估计的准最大似然估计，是因为 MLE 也可以被视为 GMM，而后者并不需要对随机变量的具体分布作出假定（见教材第10章）。也就是说，虽然 MLE 要求随机变量服从正态分布，不过这个假定其实可以稍微放松。如果 QMLE 满足以下条件，那么它依然是一致估计量：

然而，更一般的情况下， QMLE 并非一致估计 ，比如 14 章的 Tobit 回归。就算 QMLE 恰巧为一致估计，但其渐近方差也通常不是一致估计（即参数估得准，不过参数的不确定性估不准）。

假设正确的对数似然函数为 而被误设为 ，那么我们称后者为 准对数似然函数 （pseudo log likelihood function, PLLF）。最大化 的结果也就是 QMLE 估计量：

类似于 MLE 一致性的证明步骤，我们可以证明 ，其中 称为 准真实值 （peseudo-true value），但通常 。对于 的大样本分布，可以用类似于 MLE 的推导证明：

其中， 和 的表达式类似于 和 的表达式。不过，由于 并非真实的 LLF，所以信息矩阵等式不再成立，于是通常 ，这为渐近正态的协方差矩阵 的进一步简化造成了麻烦。

在我们 很有把握 的条件下，我们可以用基于 的标准误差来做假设检验，这被称为 胡贝尔-怀特稳健标准误 （Huber-White robust standard errors）。这个标准误也被称为 稳健标准误 ，因为它与第 5 章介绍的 异方差稳健标准误 是一致的。需要注意的是，如果 ，就算使用稳健的标准误也 无济于事 ，你首先要考虑的是估计的一致性问题。

对线性回归模型，如果扰动项不服从正态分布，则虽然OLS 估计量是一致的且服从正态分布，但是无法使用小样本 OLS 进行假设检验。在这种情形下，就需要对扰动项是否服从正态分布进行检验。当然，如果是大样本，那就可以用渐近正态的理论处理，我们也不关心扰动项是否服从正态分布了。

不过，对非线性模型使用 MLE 时，由于正态分布假定时推导 MLE 的前提，故而检验扰动项是否服从正态分布可能就显得比较重要。

为了考察扰动是否正态，最直观的方法是画图。可以把残差画成直方图，然后用 核密度估计 方法得到光滑的曲线，然后与正态分布的曲线进行对比。一个核密度估计的例子如下图所示：

最大似然估计(极大似然估计)

目录

• 概率与似然
  • 概率
  • 似然
• 最大似然估计

个人博客:https://xiaoxiablogs.top

概率与似然

对于最大似然估计我们使用最简单的抛硬币问题来进行讲解

概率

当我们抛一枚硬币的时候,就可以去猜测抛硬币的各种情况的可能性,这个可能性就称为概率
一枚质地均匀的硬币,在不考虑其他情况下是符合二项分布的,即正面和翻面的概率都是0.5,那么我们抛10次硬币5次正面在上面的概率为:

[P(5次正面朝上)=C^5_{10}0.5^5(1-0.5)^5=0.24609375approx0.25 ]

似然

但是现实生活中,我们并不知道硬币是否均匀,那么我们就需要通过多次抛硬币来推测硬币是否均匀或者说推测硬币每一面朝上的概率,这就是似然

最大似然估计

那么什么是最大似然估计(又称极大似然估计)呢?
所谓的最大似然估计其实就是假设硬币正面朝上的概率,然后计算实验结果的概率是多少,概率越大,那么这个假设的概率越可能是真的。
假设我们投了10次硬币,其中有6次正面朝上,那么我们根据这个实验结果对其进行假设
我们可以先假设正面朝上的概率为0.5,那么达到实验结果的概率为:

[P = C^6_{10}0.5^6(1-0.5)^4=0.205078125approx0.21 ]

我们还可以假设正面朝上的概率为0.6,那么达到实验结果的概率为

[P=C^6_{10}0.6^6(1-0.6)^4=0.25082265600000003approx0.25 ]

那么我们就可以说,正面朝上的概率为0.6要比0.5的更有可能。

当然,我们仅仅比较这两种情况是不够的,我们需要将所有的情况都进行对比,然后求出最大的可能性。
接下来我们使用作图的方法来看一下最有可能的取值

根据上图我们可以看出，可能性最大的应该是正面概率为0.6的时候。
以上通过实验结果，然后对相应的概率进行假设，从而得到最有可能造成测试结果的概率的过程，就称为最大似然估计