随机过程 16 - 离散时间马氏链的渐进行为
Posted Ciaran-byte
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了随机过程 16 - 离散时间马氏链的渐进行为相关的知识,希望对你有一定的参考价值。
离散时间马尔科夫链的渐进行为
文章目录
1. 常返性回顾
1.1 对常返性的三个认识
首先,我们现在对常返性是有三个认识的。
- 第一个认识是从定义出发的,我们知道,如果一个状态是常返态,那么这个状态的首达概率和是1
∑ k = 1 ∞ f i i ( k ) = 1 Recurrent ∑ k = 1 ∞ f i i ( k ) < 1 Non-Recurrent ( a ) \\sum_k=1^\\infty f_ii(k) = 1 \\quad \\textRecurrent \\\\ \\sum_k=1^\\infty f_ii(k) < 1 \\quad \\textNon-Recurrent \\quad (a) k=1∑∞fii(k)=1Recurrentk=1∑∞fii(k)<1Non-Recurrent(a)
- 第二个认识是从判据出发的。由于首达概率不容易计算,通过变换的形式,把首达概率的和变成转移概率的和
∑ k = 0 ∞ P i i ( k ) = ∞ Recurrent ( b ) \\sum_k=0^\\infty P_ii(k) = \\infty \\quad \\textRecurrent \\quad (b) k=0∑∞Pii(k)=∞Recurrent(b)
- 第三个认识是来自于无穷多次返回概率,如果一个状态是常返的,无穷多次返回这个状态的概率是1。而非常返态无穷多次返回这个状态的概率是0。这个结论只能正向推,如果无穷多次返回概率是1推导不出来常返。
g i i = l i m m → ∞ g i i ( m ) = 1 Recurrent ( c ) g_ii = lim_m \\rightarrow \\infty g_ii(m) = 1 \\quad \\textRecurrent \\quad (c) gii=limm→∞gii(m)=1Recurrent(c)
1.2 常返性的性质
然后我们也了解到了一些与常返态有关的性质
- 如果i是常返态,并且i可达j,则j一定也能够可达i
i → j ⇒ j → i i \\rightarrow j \\Rightarrow j \\rightarrow i i→j⇒j→i
- 如果两个状态相通,则他们的常返态相同
i ↔ j ⇒ Same Recurrent i \\leftrightarrow j \\Rightarrow \\textSame Recurrent i↔j⇒Same Recurrent
- 如果一个马氏链只有有限状态,里面必定存在常返态
Finite States ⇒ ∃ R e c u r r e n t \\textFinite States \\Rightarrow \\exist Recurrent Finite States⇒∃Recurrent
- 如果一个马氏链只有有限状态,并且不可约,则所有的状态都常返
Finite States + Irreducible ⇒ All are Recurrent \\textFinite States + \\textIrreducible \\Rightarrow \\textAll are Recurrent Finite States+Irreducible⇒All are Recurrent
- 如果状态i是非常返的,以i为终点的任何转移行为,最终都会慢慢消亡
i Non-Recurrent P k i ( n ) → 0 n → ∞ i \\text Non-Recurrent \\quad P_ki(n) \\rightarrow 0 \\quad n \\rightarrow \\infty i Non-RecurrentPki(n)→0n→∞
2. 周期性
2.1 马氏链渐进行为分析
我们想分析下无穷远处的转移概率行为。我们假设现在状态空间只有0和1两个状态,并且一步转移只能从0到1,然后从1到0,所以也有一步转移概率矩阵如下
S = 0 , 1 P ( 1 ) = ( 0 1 1 0 ) S = \\0,1 \\ \\\\ P(1) = \\beginpmatrix 0 & 1 \\\\ 1 & 0 \\endpmatrix S=0,1P(1)=(0110)
我们现在想要分析从零状态经过n步回到零状态的渐进行为。
P 00 ( n ) P_00(n) P00(n)
我们发现这个转移概率并不需要算到无穷大,因为这个转移概率是规律震荡的。奇数步一定回不到原点,偶数步一定能回到原点。因此就有
P 00 ( n ) = P 11 ( n ) = 0 , 1 , 0 , 1 , . . . . P 01 ( n ) = P 10 ( n ) = 1 , 0 , 1 , 0 , . . . . P_00(n) = P_11(n) = \\0,1,0,1,....\\ \\\\ P_01(n) = P_10(n) = \\1,0,1,0,....\\ P00(n)=P11(n)=0,1,0,1,....P01(n)=P10(n)=1,0,1,0,....
而另一组转移概率是互补的。随着n的增大,这些转移概率都是震荡的。因为这个马氏链本身非常有规律,一旦转移概率产生了震荡,就办法求极限了,因为极限是不存在的。这个马氏链是没有办法分析渐进行为的。
转移概率的极限一般是体现的一种稳态,就是时间足够长了以后访问一个节点的相对比例。我们如果想分析这个马氏链访问一个节点的相对比例,我们不需要无穷多的时间,比例都是1/2
2.2 状态的周期性定义
我们基于刚才的例子引出周期性概念。正如常返性一样,周期也是对于状态而言的。
Periodic i → d i d i = G C D k : P i i ( k ) > 0 \\textPeriodic \\\\ i \\rightarrow d_i \\\\ d_i = GCD\\ k: P_ii(k)>0 \\ Periodici→didi=GCDk:Pii(k)>0
我们假设有一个集合,是由从i出发经过k步能够回来的步数构成的集合。这个集合的最大公因数就是周期di
Greatest Common Devison \\textGreatest Common Devison Greatest Common Devison
比如2.1例子中的集合,最大公因数是2,因此i状态的周期是2
2 = G C D 2 , 4 , 6 , 8 , . . . 2=GCD\\2,4,6,8,... \\ 2=GCD2,4,6,8,...
如果这个集合的最大公因数是1,说明他们是互为素数,那么这个状态就是非周期的。
2.3 周期性的性质
如果两个状态是相通的,则这两个状态一定是具有相同周期。可以推广得到,如果一个链不可约,说明这个链都是相通的,则可以说明所有状态都具有相同周期,则我们就可以说是这个马氏链的周期了。
我们证明一下这个结论:如果两个状态相通,则这两个状态一定具有周期
Prove i ↔ j ⇒ d i = d j \\textProve \\\\ i \\leftrightarrow j \\Rightarrow d_i = d_j \\\\ Provei↔j⇒di=dj
下面来证明,我们先做一下假设
Assuming A i = k : P i i ( k ) > 0 ∀ k ∈ A j ∃ m , n P i j ( m ) > 0 P j i ( n ) > 0 \\textAssuming \\\\ A_i = \\ k:P_ii(k)>0 \\ \\quad \\forall k \\in A_j \\\\ \\exist m,n \\quad P_ij(m)>0 \\quad P_ji(n) >0 AssumingAi=k:Pii(k)>0∀k∈Aj∃m,nPij(m)>0Pji(n)>0
我们假设Ai是从i经过k步能够回到i的步数构成的集合。而k是Aj集合中个一个元素。假设j和i是相通的,则其必定有某个n步转移概率大于0
然后我们可以做如下证明
P i i ( m + n ) ≥ P i j ( m ) P j i ( n ) > 0 ⇒ ( m + n ) ∈ A i ⇒ ( m + n ) ∣ d i P_ii(m+n) \\geq P_ij(m)P_ji(n) >0 \\Rightarrow (m+n) \\in A_i \\Rightarrow (m+n)|d_i Pii(m+n)≥Pij(m)Pji(n)>随机过程 16 - 离散时间马氏链的渐进行为