MCMC笔记：吉布斯采样（Gibbs）

Posted 2021-11-07 UQI-LIUWJ

1 介绍

吉布斯采样是一种特殊的MH采样

MCMC笔记Metropilis-Hastings算法（MH算法）_UQI-LIUWJ的博客-CSDN博客

此时我们要采样的分布是一个高维的情况

吉布斯采样的思想就是一维一维地进行采样，采某一个维度的时候固定其他的维度

吉布斯采样有一个假定条件，那就是虽然高维采样可能不太好采，但是一维采样比较好采。如果这个假设不成立，那么吉布斯采样也就不可行

用数学表达式描述，即为：

 1.1 采样过程

假设有三个维度

• 我们先初始化各个维度第一个被采样的值
•  然后按照如下的规则进行迭代：

2 吉布斯算法是特殊的MH算法

        在MCMC笔记Metropilis-Hastings算法（MH算法）_UQI-LIUWJ的博客-CSDN博客中，我们知道了MH算法的接受率α为：

        

        其中 Z 代表吉布斯采样中的t 时刻，而 Z* 代表 t+1时刻。

        MH算法可知此时的马尔可夫链是处于平稳状态。

        假设我们此时采样的是第i维，那么对于非第i维的部分,，概率分布不变

        于是我们有

        于此同时，此时的Q就是其他状态向的转移概率，即

 于是吉布斯算法的接受率为：

 

 而由于，所以上式可以转换为1

 说明吉布斯采样是特殊的MH采样，同时采样效率也比MH高（MH比接受率大的部分的样本是不采的）

 参考资料：

机器学习-白板推导系列(十三)-MCMC（Markov Chain Monte Carlo）_哔哩哔哩_bilibili

机器学习-白板推导系列(十三)-MCMC（Markov Chain Monte Carlo）笔记 - 知乎 (zhihu.com)