最大似然估计法的原理

Posted 2023-05-03

参考技术A 最大似然估计 是一种统计方法 ,它用来求一个样本集的相关概率密度函数的参数.这个方法最早是遗传学家以及统计学家罗纳德·费雪 爵士在1912年至1922年间开始使用的.“似然”是对likelihood 的一种较为贴近文言文的翻译,“似然”用现代的中文来说即“可能性”.故而,若称之为“最大可能性估计”则更加通俗易懂.
最大似然估计的原理
给定一个概率分布D ,假定其概率密度函数（连续分布）或概率聚集函数（离散分布）为f D ,以及一个分布参数θ ,我们可以从这个分布中抽出一个具有n 个值的采样 ,通过利用f D ,我们就能计算出其概率：但是,我们可能不知道θ 的值,尽管我们知道这些采样数据来自于分布D .那么我们如何才能估计出θ 一个自然的想法是从这个分布中抽出一个具有n 个值的采样X 1 ,X 2 ,...,X n ,然后用这些采样数据来估计θ .一旦我们获得 ,我们就能从中找到一个关于θ 的估计.最大似然估计会寻找关于 θ 的最可能的值（即,在所有可能的θ 取值中,寻找一个值使这个采样的“可能性”最大化）.
这种方法正好同一些其他的估计方法不同,如θ 的非偏估计,非偏估计未必会输出一个最可能的值,而是会输出一个既不高估也不低估 的θ 值.要在数学上实现最大似然估计法 ,我们首先要定义可能性 :并且在θ 的所有取值上,使这个[[函数最大化.这个使可能性最大的值即被称为θ 的最大似然估计 .注意 这里的可能性是指不变时,关于θ 的一个函数.最大似然估计函数不一定是惟一的,甚至不一定存在.
我也不懂这个,是从网上找的.

最大似然估计

1. 最大似然估计法的思想

在已经得到试验结果的情况下，我们应该寻找使这个结果出现的可能性最大的那个θ作为真θ的估计。

2. 离散型随机变量

设X为离散型随机变量，其概率分布的形式为  ，则样本的概率分布为  ，在  固定时，上式表示取值的概率；当  固定时，它是  的函数，我们把它记为  并称为似然函数。

似然函数  的值的大小表示该样本值出现的可能性的大小。既然已经得到了样本值  ，那它出现的可能性应该是大的，即似然函数的值应该是大的。因而我们选择使  达到最大值的那个  作为真  的估计。

3. 连续型随机变量

设  为连续型随机变量，其概率密度函数为   则    为从该总体抽出的样本。因为  相互独立且同分布，于是，样本的联合概率密度函数为
 ，在  是固定时，它是  在 处的 密度，它的大小与  落在  附近的概率的大小成正比，而当样本值  固定时，它是 的函数。我们仍把它记为  并称为似然函数。类似于刚才的讨论，我们选择使  最大的那个  作为真  的估计。

       总之，在有了试验结果即样本值  时，似然函数  反映了  的各个不同值导出这个结果的可能性的大小。 我们选择使  达到最大值的那个 作为真  的估计。这种求点估计的方法就叫做最大似然法。

4. 求解最大似然函数的一般步骤为

1. 写出似然函数

2. 写出对数似然函数，并整理

3. 求导数

4. 解似然方程