MAP 最大后验——利用经验数据获得对未观测量的点态估计

Posted bonelee

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了MAP 最大后验——利用经验数据获得对未观测量的点态估计相关的知识,希望对你有一定的参考价值。

Map

(最大后验)

在贝叶斯统计学中,最大后验(Maximum A Posteriori,MAP)估计可以利用经验数据获得对未观测量的点态估计。它与Fisher最大似然估计(Maximum Likelihood,ML)方法相近,不同的是它扩充了优化的目标函数,其中融合了预估计量的先验分布信息,所以最大后验估计可以看作是正则化(regularized)的最大似然估计。
 
中文名
最大后验
外文名
Maximum A Posteriori
应用学科
贝叶斯统计学
假设我们需要根据观察数据x估计没有观察到的总体参数θ,让f作为x的采样分布,这样f(x| θ)就是总体参数为θ时x的概率。函数 即为似然函数,其估计就是θ的最大似然估计。
假设θ存在一个先验分布g,这就允许我们将θ作为贝叶斯统计(en:Bayesian statistics)中的随机变量,这样θ的后验分布就是:

   其中Θ是g的domain,这是贝叶斯定理(en: Bayes‘ theorem)的直接应用。
最大后验估计方法于是估计θ为这个随机变量的后验分布的mode
后验分布的分母与θ无关,所以在优化过程中不起作用。注意当前验g是 uniform(也就是常函数)时最大后验估计与最大似然估计重和。
最大后验估计可以用以下几种方法计算:
解析方法,当后验分布的模能够用closed form方式表示的时候用这种方法。当使用en:conjugate prior的时候就是这种情况。通过如共扼积分法或者牛顿法这样的数值优化方法进行,这通常需要一阶或者导数,导数需要通过解析或者数值方法得到。通过期望最大化算法的修改实现,这种方法不需要后验密度的导数。
尽管最大后验估计与 Bayesian 统计共享前验分布的使用,通常并不认为它是一种 Bayesian 方法,这是因为最大后验估计是点估计,然而 Bayesian 方法的特点是使用这些分布来总结数据、得到推论。Bayesian 方法试图算出后验均值或者中值以及posterior interval,而不是后验模。尤其是当后验分布没有一个简单的解析形式的时候更是这样:在这种情况下,后验分布可以使用Markov chain Monte Carlo技术来模拟,但是找到它的模的优化是很困难或者是不可能的。

以上是关于MAP 最大后验——利用经验数据获得对未观测量的点态估计的主要内容,如果未能解决你的问题,请参考以下文章

频率学派 极大似然估计MLE,贝叶斯学派 最大后验估计MAP 2021-05-11

最大似然估计 (MLE) 最大后验概率(MAP)

最大似然估计和最大后验概率估计(MLE&MAP)

最大似然估计 (MLE) 最大后验概率(MAP)

似然估计与后验概率

机器学习基本理论详解最大似然估计(MLE)最大后验概率估计(MAP),以及贝叶斯公式的理解