最大似然估计

Posted 2020-09-06 Alfred2017

1. 最大似然估计法的思想

在已经得到试验结果的情况下，我们应该寻找使这个结果出现的可能性最大的那个θ作为真θ的估计。

2. 离散型随机变量

设X为离散型随机变量，其概率分布的形式为  ，则样本的概率分布为  ，在  固定时，上式表示取值的概率；当  固定时，它是  的函数，我们把它记为  并称为似然函数。

似然函数  的值的大小表示该样本值出现的可能性的大小。既然已经得到了样本值  ，那它出现的可能性应该是大的，即似然函数的值应该是大的。因而我们选择使  达到最大值的那个  作为真  的估计。

3. 连续型随机变量

设  为连续型随机变量，其概率密度函数为   则    为从该总体抽出的样本。因为  相互独立且同分布，于是，样本的联合概率密度函数为
 ，在  是固定时，它是  在 处的 密度，它的大小与  落在  附近的概率的大小成正比，而当样本值  固定时，它是 的函数。我们仍把它记为  并称为似然函数。类似于刚才的讨论，我们选择使  最大的那个  作为真  的估计。

       总之，在有了试验结果即样本值  时，似然函数  反映了  的各个不同值导出这个结果的可能性的大小。 我们选择使  达到最大值的那个 作为真  的估计。这种求点估计的方法就叫做最大似然法。

4. 求解最大似然函数的一般步骤为

1. 写出似然函数

2. 写出对数似然函数，并整理

3. 求导数

4. 解似然方程