最大后验概率&最大似然估计

Posted dannix

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了最大后验概率&最大似然估计相关的知识,希望对你有一定的参考价值。

问题是,已知样本结果D,求最大概率的参数$\theta $

最大后验概率(MAP):

求使$P(\theta |D)$最大的$\theta $;

$P(\theta |D)=\fracP(D|\theta )P(\theta )P(D)$

其中,P(D)为已知量,常量,因为样本结果已经定了;

求$max P(\theta |D)$,相当于求$maxP(D|\theta )P(\theta )$

 

最大似然估计(MLE):

相当于求$P(\theta )$为均匀分布时的$maxP(\theta |D)$;

即求$maxP(D|\theta )$;

似然函数$l(\theta)=  P(D|\theta )=P(x_1,...,x_N|\theta )=\prod_i=1^NP(x_i|\theta )$

已知样本D,求$\theta$,样本间相互独立;

解法:求$Ln (l(\theta ))$,再求偏导,$\frac\partial Ln (l(\theta ))\partial \theta $

 

以上是关于最大后验概率&最大似然估计的主要内容,如果未能解决你的问题,请参考以下文章