极大似然估计

Posted 2020-11-10 1直在路上1

一、基本思想

　“模型已定，参数未知”

　假如有一个罐子，里面有黑白两种颜色的球，数目多少不知，两种颜色的比例也不知。我们想知道罐中白球和黑球的比例，但我们不能把罐中的球全部拿出来数。现在我们可以每次任意从已经摇匀的罐中拿一个球出来，记录球的颜色，然后再放回罐中。这个过程可以重复，我们可以用记录的球的颜色来估计罐中黑白球的比例。假如在前面的一百次重复记录中，有七十次是白球，请问罐中白球所占的比例最有可能是多少？很多人马上就有答案了：70%。而其后的理论支撑是什么呢？

　我们假设罐中白球的比例是p，那么黑球的比例就是1-p。因为每抽一个球出来，在记录颜色之后，我们把抽出的球放回了罐中并摇匀，所以每次抽出来的球的颜色服从同一独立分布。题目中在一百次抽样中，七十次是白球的概率是P(Data|M)，这里Data是所有的数据，M是所给出的模型表示每次抽出来的球是白色的概率为p。如果第一抽样的结果记为x1，第二抽样的结果记为x2，那么Data = (x1,x2,…,x100)。这样:

\(P(Data | M) = P(x1,x2,...,x100|M)= P(x1|M)P(x2|M)...P(x100|M) = p^{70}(1-p)^{30}\)

　那么p在取什么值的时候，上述值最大呢？

二、极大似然估计计算步骤

　1）建立似然函数L，如果随机变量是离散型的，似然函数即各个概率相乘，如果随机变量是连续型，即各个概率密度相乘

　2）使L最大

　　　a）取对数

　　　b）求导

　　　c）另导数为0

 

　　上述公式

　　　取对数后：\(70lnp + 30ln(1-p)\)

　　　求导：\\frac{70}{p} + \frac{30}{p-1}\)

　　　令导数为0：\(p = 0.7\)

 

　　上述就是极大似然估计的求解过程