MAP 最大后验——利用经验数据获得对未观测量的点态估计

Posted 2021-01-03 bonelee

Map

（最大后验）

在贝叶斯统计学中，最大后验（Maximum A Posteriori，MAP）估计可以利用经验数据获得对未观测量的点态估计。它与Fisher的最大似然估计（Maximum Likelihood，ML）方法相近，不同的是它扩充了优化的目标函数，其中融合了预估计量的先验分布信息，所以最大后验估计可以看作是正则化（regularized）的最大似然估计。

 

中文名

最大后验

外文名

Maximum A Posteriori

应用学科

贝叶斯统计学

假设我们需要根据观察数据x估计没有观察到的总体参数θ，让f作为x的采样分布，这样f(x| θ)就是总体参数为θ时x的概率。函数

即为似然函数，其估计就是θ的最大似然估计。

假设θ存在一个先验分布g，这就允许我们将θ作为贝叶斯统计（en:Bayesian statistics）中的随机变量，这样θ的后验分布就是：

　　

其中Θ是g的domain，这是贝叶斯定理（en: Bayes‘ theorem）的直接应用。

最大后验估计方法于是估计θ为这个随机变量的后验分布的mode：

后验分布的分母与θ无关，所以在优化过程中不起作用。注意当前验g是 uniform（也就是常函数）时最大后验估计与最大似然估计重和。

最大后验估计可以用以下几种方法计算：

解析方法，当后验分布的模能够用closed form方式表示的时候用这种方法。当使用en:conjugate prior的时候就是这种情况。通过如共扼积分法或者牛顿法这样的数值优化方法进行，这通常需要一阶或者导数，导数需要通过解析或者数值方法得到。通过期望最大化算法的修改实现，这种方法不需要后验密度的导数。

尽管最大后验估计与 Bayesian 统计共享前验分布的使用，通常并不认为它是一种 Bayesian 方法，这是因为最大后验估计是点估计，然而 Bayesian 方法的特点是使用这些分布来总结数据、得到推论。Bayesian 方法试图算出后验均值或者中值以及posterior interval，而不是后验模。尤其是当后验分布没有一个简单的解析形式的时候更是这样：在这种情况下，后验分布可以使用Markov chain Monte Carlo技术来模拟，但是找到它的模的优化是很困难或者是不可能的。