[参数方法] 贝叶斯估计（待补充）

Posted 2020-06-17 小尾巴君

问题：给定一些样本X，给定一个参数theta的先验概率p(theta)，如何建模估计x上的密度？

——————————————————————————————————————————

根据贝叶斯规则，为了估计x上的密度，有：

p(x | X) =  ∫p(x, theta | X)d(theta)

　　　　= ∫p(x | theta, X)*p(theta | X)d(theta)，由于如果给定了theta也就知道了X的分布

　　　　= ∫p(x | theta)*p(theta | X)d(theta)

实际问题是theta存在概率上的变化，所以p(theta | X)有一个概率形式，若p(theta | X)是一个复杂的形式，那么积分实在太难。

若做一个很简单的假定，只取theta在样本中（即p(theta | X))出现的众数，则p(theta | X)恒为1，式子就是一个似然估计。这种假定使得最大后验(maximum a posteriori, MAP)估计计算容易：

　　p(x | X) = p(x | theta_MAP) ，其中theta_MAP = arg maxp(theta | X)。

然后这种假定确实过于简单粗暴了......

然而，另一种可能的方法贝叶斯估计登场的，贝叶斯估计被定义为后验概率的期望值。首先它做了参数theta的期望，可以用E[theta] = µ来预测。假设c是theta的估计，则

E[(theta - c)²] = E[(theta - µ + µ - c)²] = E[(theta - µ)²] + (µ - c)²

此时c = µ，值最小，在theta为正态密度情况下，众数是µ。此时贝叶斯估计和前面的MAP一致了。

特殊例子，x服从N(theta, σ1²)分布，theta又服从N(µ, σ2²)分布，那么

可证p(theta | X)也是是正态的。

（待补充）