深度学习：M-H采样

Posted 2021-03-03 liuxiangyan

一、引入

M-H采样用来解决MCMC采样效率低的问题，主要是更改了MCMC中接受率的具体定义，但是这个方法不适用于高维。

 

二、细致平稳条件

从$pi(i)Q_{ij}alpha (ij)= pi(j)Q_{ji}alpha (ji)$出发（1）式

移项$alpha (ij)=alpha (ji)frac{pi(j)Q_{ji}}{pi(i)Q_{ij}}$，（2）式

并且令$alpha (ji)=1$，

令$alpha (ij)=minleft { frac{pi(j)Q_{ji}}{pi(i)Q_{ij}},1 ight }$，（3）式

其实这个想法，就是把（1）式，左右两边的$alpha (ij)$和$alpha (ji)$同比增大，先只观察$alpha (ji)$，如果它达到1了，就不再变化，这时候我们再倒回去观测$alpha (ij)$，按照（2）式，它应该等于这个复杂的除法$alpha (ji)frac{pi(j)Q_{ji}}{pi(i)Q_{ij}}$，但是，由于它是个接受率，不能大过1，于是得到（3）式，（3）式说明了$alpha (ij)$要更快达到1。

具体采样见上一篇博文，只是马尔可夫链蒙特卡洛采样中的接受率的表达式改变了而已。