随机过程 16 - 离散时间马氏链的渐进行为

Posted 2022-02-06 Ciaran-byte

离散时间马尔科夫链的渐进行为

文章目录

• 离散时间马尔科夫链的渐进行为
• • 1. 常返性回顾
  • • 1.1 对常返性的三个认识
    • 1.2 常返性的性质
  • 2. 周期性
  • • 2.1 马氏链渐进行为分析
    • 2.2 状态的周期性定义
    • 2.3 周期性的性质
    • 2.4 弱遍历性
    • • 2.4.1 定义
      • 2.4.2 Cesaro Sum
      • 2.4.3 平均返回步数
      • 2.4.4 常返态的进一步分类
    • 2.5 周期性与极限行为
    • • 2.5.1 转移概率极限的存在性
      • 2.5.2 极限转移概率的计算
      • 2.5.3 求解方程的注解
      • 2.5.4 平稳分布
      • 2.5.5 极限与Ceasaro和
  • 3. 马氏链应用举例
  • • 3.1 马氏链分析步骤
    • 3.2 Ehrenfest Model
    • 3.3 无向图的随机游动

1. 常返性回顾

1.1 对常返性的三个认识

  首先，我们现在对常返性是有三个认识的。

• 第一个认识是从定义出发的，我们知道，如果一个状态是常返态，那么这个状态的首达概率和是1

$$\begin{gathered} \sum _{k=1}^{\infty }{f}_{ii}(k)=1\text{Recurrent} \\ \sum _{k=1}^{\infty }{f}_{ii}(k)<1\text{Non-Recurrent}(a) \end{gathered}$$

• 第二个认识是从判据出发的。由于首达概率不容易计算，通过变换的形式，把首达概率的和变成转移概率的和

$$\sum _{k=0}^{\infty }{P}_{ii}(k)=\infty \text{Recurrent}(b)$$

• 第三个认识是来自于无穷多次返回概率，如果一个状态是常返的，无穷多次返回这个状态的概率是1。而非常返态无穷多次返回这个状态的概率是0。这个结论只能正向推，如果无穷多次返回概率是1推导不出来常返。

$$g_{ii}=li{m}_{m\to \infty }{g}_{ii}(m)=1\text{Recurrent}(c)$$

1.2 常返性的性质

  然后我们也了解到了一些与常返态有关的性质

• 如果i是常返态，并且i可达j，则j一定也能够可达i

$$i\to j\Rightarrow j\to i$$

• 如果两个状态相通，则他们的常返态相同

$$i\leftrightarrow j\Rightarrow \text{Same Recurrent}$$

• 如果一个马氏链只有有限状态，里面必定存在常返态

$$\text{Finite States}\Rightarrow \exists Recurrent$$

• 如果一个马氏链只有有限状态，并且不可约，则所有的状态都常返

$$\text{Finite States}+\text{Irreducible}\Rightarrow \text{All are Recurrent}$$

• 如果状态i是非常返的，以i为终点的任何转移行为，最终都会慢慢消亡

$$i\text{ Non-Recurrent}{P}_{ki}(n)\to 0n\to \infty$$

2. 周期性

2.1 马氏链渐进行为分析

  我们想分析下无穷远处的转移概率行为。我们假设现在状态空间只有0和1两个状态，并且一步转移只能从0到1，然后从1到0，所以也有一步转移概率矩阵如下

$$\begin{gathered} S=0,1 \\ P(1)=\left(\begin{array}{cc}0& 1\\ 1& 0\end{array}\right) \end{gathered}$$

  我们现在想要分析从零状态经过n步回到零状态的渐进行为。

$$P_{00}(n)$$

  我们发现这个转移概率并不需要算到无穷大，因为这个转移概率是规律震荡的。奇数步一定回不到原点，偶数步一定能回到原点。因此就有

$$\begin{gathered} P_{00}(n)=P_{11}(n)=0,1,0,1,.... \\ {P}_{01}(n)=P_{10}(n)=1,0,1,0,.... \end{gathered}$$

  而另一组转移概率是互补的。随着n的增大，这些转移概率都是震荡的。因为这个马氏链本身非常有规律，一旦转移概率产生了震荡，就办法求极限了，因为极限是不存在的。这个马氏链是没有办法分析渐进行为的。

  转移概率的极限一般是体现的一种稳态，就是时间足够长了以后访问一个节点的相对比例。我们如果想分析这个马氏链访问一个节点的相对比例，我们不需要无穷多的时间，比例都是1/2

2.2 状态的周期性定义

  我们基于刚才的例子引出周期性概念。正如常返性一样，周期也是对于状态而言的。

$$\begin{gathered} \text{Periodic} \\ i\to d_i \\ {d}_i=GCDk:P_{ii}(k)>0 \end{gathered}$$

  我们假设有一个集合，是由从i出发经过k步能够回来的步数构成的集合。这个集合的最大公因数就是周期di

$$\text{Greatest Common Devison}$$

  比如2.1例子中的集合，最大公因数是2，因此i状态的周期是2

$$2=GCD2,4,6,8,...$$

  如果这个集合的最大公因数是1，说明他们是互为素数，那么这个状态就是非周期的。

2.3 周期性的性质

  如果两个状态是相通的，则这两个状态一定是具有相同周期。可以推广得到，如果一个链不可约，说明这个链都是相通的，则可以说明所有状态都具有相同周期，则我们就可以说是这个马氏链的周期了。

  我们证明一下这个结论：如果两个状态相通，则这两个状态一定具有周期

$$\begin{gathered} \text{Prove} \\ i\leftrightarrow j\Rightarrow d_i=d_j \end{gathered}$$

  下面来证明，我们先做一下假设

$$\begin{gathered} \text{Assuming} \\ {A}_i=k:P_{ii}(k)>0\forall k\in A_j \\ \exists m,n{P}_{ij}(m)>0P_{ji}(n)>0 \end{gathered}$$

 我们假设Ai是从i经过k步能够回到i的步数构成的集合。而k是Aj集合中个一个元素。假设j和i是相通的，则其必定有某个n步转移概率大于0

  然后我们可以做如下证明

P i i ( m + n ) ≥ P i j ( m ) P j i ( n ) > 0 ⇒ ( m + n ) ∈ A i ⇒ ( m + n ) ∣ d i P_ii(m+n) \\geq P_ij(m)P_ji(n) >0 \\Rightarrow (m+n) \\in A_i \\Rightarrow (m+n)|d_i Pii​(m+n)≥Pij​(m)Pji​以上是关于随机过程 16 - 离散时间马氏链的渐进行为的主要内容，如果未能解决你的问题，请参考以下文章

随机过程 16 - 离散时间马氏链的渐进行为

随机过程 17 -离散时间马氏链典型应用

随机过程 17 -离散时间马氏链典型应用

随机过程 17 -离散时间马氏链典型应用

随机过程14 - 离散时间马氏链与转移概率

随机过程14 - 离散时间马氏链与转移概率