《概率统计》基于马尔科夫链的近似采样

Posted 2020-11-27 traditional

楔子

从这一篇开始，我们主要来介绍基于马尔科夫链的近似采样过程。具体如何采样，以及整个采样过程中的思维过程，我们随着这篇的内容讲解而逐步展开

马尔科夫链的稳态与采样的关系

马尔科夫链的平稳分布是一个意义非凡的重要特性，我们换个角度说明一下大家就能明白它的重要意义：也就是说无论我们的起始状态是位于状态 1、状态 2 还是状态 3，在状态转移矩阵 P 的作用下，经过足够大的 n 步转移之后，它处于三种状态的概率都是固定的

利用下面这幅图，我们可以把这个状态转移和到达稳态的过程表达得更加直白一些：

好比说我们有一颗小石头，在最开始的时候，它可以位于任意一个初始状态，这里为了方便画图，假设它处于状态 2。那么从初始状态开始，在状态转移矩阵中的转移概率的作用下，这颗小石头不停地在状态 1、状态 2 和状态 3 之间随机游走，图中的红色虚线示意了其中具体的某一条转移路径。

当然转移的路径可不止这一条，在状态转移的过程中，状态之间的转移概率等于该马尔科夫链的状态转移矩阵对应位置上的元素 (P_{ij})，那么经过足够多的 n 步转移之后，这个小石头将最终依概率落入到三个状态中的某一个当中，具体就是：落入到状态 1 的概率是 0.3888，落入到状态 2 的概率是 0.2777，落入到状态 3 的概率是 0.3333。

当然如果只有一个小石头，最终它还是只会落入到具体的某一个状态当中，但是如果小石头的数量足够多，那么这不就是一个大数定理的实际应用了吗，我们拿足够多的小石头，从任意的初始状态出发，最终落入到各个状态中的小石头的数量所占的比例就等于各个状态的平稳分布概率。

基于马尔科夫链进行采样的思路

背后的大数定理

那么，我们重新提炼一下这里面的核心思路。我们这里提到的马尔科夫链，它的状态转移矩阵

(egin{bmatrix}0.7&0.1&0.2\\0.3&0.5&0.2\\0.1&0.3&0.6end{bmatrix})

对应的稳态分布是 [0.3888,0.2777,0.3333]。如果我们利用大的数据样本，从任意的初始状态出发，经过足够长的步数转移之后，我们去统计和计算落入到三个状态中的小石头各自所占的比例，就可以近似为平稳分布。

由此我们就实现了利用数值模拟的方法对这个目标平稳分布的采样，这就是基于马尔科夫链的采样方法的思维雏形。

时间分布与空间分布的一致性

在基于马尔科夫链的采样过程中，我们如何来具体进行方法的实施呢？怎样来实现对大样本的模拟？

比如我们采样的样本数定为 100000 个，我们最简单粗暴的方法是对每一个样本都执行一次 n 步转移（这个 n 相对较大，要保证进入到马尔科夫链的稳态当中），但是这样一来计算量相当大，每次只利用了采样过程中的最后一个状态，且要运行 100000 次进入平稳状态的转移过程，数据的利用率很低，浪费也很大。

实际上在基于马尔科夫链的具体采样过程中，我们往往只需要进行一次转移过程，就能够实现了整个采样过程。

这里，我们依托的是之前讲过的稳态分布的基本定义，即对于一个马尔科夫链，如果它的状态转移矩阵是 P，稳态分布是 π，那么它们满足 π=(P_{π}) 的相等关系。

这里的意思就是说，我们只需要对一个小石头进行状态转移就可以实现采样的目标。即：在它进入到稳态的那一刻（我们记作时刻 (t_{0})）开始，它依照稳态分布中的概率进入到状态 1 、状态 2 或者状态 3 当中的任意一个，那么当小石头从 (t_{0}) 时刻的状态向下一个时刻（也就是 (t_{1}) 时刻）转移时，依照 (π=P_{π}) 的相等关系，这个小石头仍然是依照稳态的概率分布进入到状态 1、状态 2 或者状态 3 中的任意一个，那么此时在 (t_{1}) 时刻，小石头和之前经过千辛万苦在 (t_{0}) 时刻进入稳态时的状态本质上是一回事儿。

以此类推，对于后面的所有转移时刻：(t_{2}、t_{3}......t_{n})，小石头在每时每刻都依概率进入到三个状态中的一个，这个概率同样也是稳态分布的概率。

那么好，这么说来我们确实只用对一个小石头的一次转移过程进行跟踪就可以了。我们巧妙地用时间的平稳分布等价替代了空间的平稳分布，省时省力。我们具体定义和描述一下这里面涉及到的变量和过程。

具体实施过程

假如我们需要采样的样本数是 N 个，而进入到稳态所需要的转移次数是 m 次（我们把 m 次的转移过程称作是燃烧期），那么我们就记录这一个小球从 m 到 m+N 这 N 次转移的过程中（我们把进入稳态后的转移过程称作是平稳期）的每个时间点所处的状态，那么我们记录下的这 N 个状态就一定服从稳态分布中各个状态的概率。于是我们仅仅通过跟踪一次状态转移的过程，就能够对目标分布实现基于马尔科夫链的样本采样。

我们通过下面这幅图，来示意整个采样的全过程：

这幅图说得很明白了，我们只跟踪这一个小石头，当小石头经过 m 次转移的燃烧期进入到平稳期之后，每一次转移我们都记录下它所处的状态，我们的采样样本数是 N，那么我们就在平稳期内让小石头按照状态转移矩阵进行 N 次转移，从而得到 N 个采样结果，这 N 个采样结果的状态分布就和稳态分布一致。