最大后验概率&最大似然估计

Posted 2022-09-18 dannix

问题是，已知样本结果D，求最大概率的参数$\theta $

最大后验概率(MAP)：

求使$P(\theta |D)$最大的$\theta $；

$P(\theta |D)=\fracP(D|\theta )P(\theta )P(D)$

其中，P(D)为已知量，常量，因为样本结果已经定了;

求$max P(\theta |D)$，相当于求$maxP(D|\theta )P(\theta )$

 

最大似然估计（MLE）：

相当于求$P(\theta )$为均匀分布时的$maxP(\theta |D)$;

即求$maxP(D|\theta )$;

似然函数$l(\theta)=  P(D|\theta )=P(x_1,...,x_N|\theta )=\prod_i=1^NP(x_i|\theta )$

已知样本D，求$\theta$，样本间相互独立；

解法：求$Ln (l(\theta ))$，再求偏导，$\frac\partial Ln (l(\theta ))\partial \theta $