随机过程15 - 离散时间马尔科夫链状态的常返性

Posted Ciaran-byte

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了随机过程15 - 离散时间马尔科夫链状态的常返性相关的知识,希望对你有一定的参考价值。

离散时间马尔科夫链状态的常返性

1. 马尔科夫链的状态

  这部分来探讨马尔科夫链状态的分类问题

Classification of Status \\textClassification of Status Classification of Status

Z n ⇒ 1 , 2 , 3 , . . . \\ Z_n\\ \\Rightarrow \\1,2,3,... \\ Zn1,2,3,...

1.1 常返态的定义

  马尔科夫链的状态包括常返态和非常返态。直观上的定义就是

  • 常返态:经常返回来的状态,一旦马尔科夫链来到这个状态就不容易走,一旦离开这个状态又经常回来
  • 非常返态:马尔科夫链不容易来到这个状态,几乎不回来,近似被抛弃的状态

Recurrent Stauts Non-Recurrent Status \\textRecurrent Stauts \\\\ \\textNon-Recurrent Status Recurrent StautsNon-Recurrent Status

  常返态对于马尔科夫链稳态分析非常重要,因为我们只需要盯着常返态看就行了。

  下面我们对常返态下一个解析上的定义

i R e c u r r e n t ⇔ ∑ k = 1 ∞ f i i ( k ) = 1 ( a ) i N o n − R e c u r r e n t ⇔ ∑ k = 1 ∞ f i i ( k ) < 1 ( i ) i \\quad Recurrent \\Leftrightarrow \\sum_k=1^\\infty f_ii(k) = 1 \\quad\\quad (a) \\\\ i \\quad Non-Recurrent \\Leftrightarrow \\sum_k=1^\\infty f_ii(k) < 1 \\quad\\quad (i) iRecurrentk=1fii(k)=1(a)iNonRecurrentk=1fii(k)<1(i)

  常返态的定义有很多,但是都是可以相互等价的,这里对常返态的定义是通过首达概率定义的。fii(k)是从i状态出发,经过k步首次回到i的概率

  这里需要做两点注解

  • 首达概率求和不会超过1
  • 转移概率求和等于多少都是有可能的

∑ k = 1 ∞ f i i ( k ) ≤ 1 ∑ k = 1 ∞ P i i ( k ) ∈ [ 0 , ∞ ) ∑ k = 1 ∞ f i i ( k ) ≤ ∑ k = 1 ∞ P i i ( k ) ( i i ) \\sum_k=1^\\inftyf_ii(k) \\leq 1 \\\\ \\sum_k=1^\\inftyP_ii(k) \\in [0,\\infty) \\\\ \\sum_k=1^\\inftyf_ii(k) \\leq \\sum_k=1^\\inftyP_ii(k) \\quad\\quad (ii) k=1fii(k)1k=1Pii(k)[0,)k=1fii(k)k=1Pii(k)(ii)

  我们可以这样考虑这个概率。首达概率是转移概率的一个子集,因此首达概率一定小于转移概率。而且,不同的k的首达概率之间没有包含关系;而不同k的转移概率之间是有包含关系的,相当于会连加很多回。

1.2 常返态的判据

  下面我们想知道如何判断一个状态是常返态。因为,首达概率其实是很难计算的,ck方程不能拆解出首达概率,因此,如果使用常返态的定义,用首达概率判断常返态是行不通的。我们希望从常返态的定义出发,将首达概率转换为转移概率做判据。

  我们用转移概率的时间分解方程来进行分析

P i j ( n ) = ∑ k = 1 n f i j ( k ) P j j ( n − k ) Temporal ( i i i ) P_ij(n) = \\sum_k=1^n f_ij(k) P_jj(n-k) \\quad \\textTemporal \\quad\\quad (iii) Pij(n)=k=1nfij(k)Pjj(nk)Temporal(iii)

  对于空间分解方程来说,可以看做是矩阵的乘法,而这里面是对时间分解的,对k来说是个离散的卷积。因此我们应该使用变换域分析来看待这个事情。

  连续时间的变换域分析可以使用傅里叶变换和拉普拉斯变换。而离散时间的变换域分析可以使用Z变换或者离散时间傅里叶变换。

  这里我们使用Z变换来处理

P i j ( Z ) = ∑ n = 0 ∞ P i j ( n ) Z n f i j ( Z ) = ∑ n = 1 ∞ f i j ( n ) Z n P_ij(Z) = \\sum_n=0^\\inftyP_ij(n)Z^n \\\\ f_ij(Z) = \\sum_n=1^\\inftyf_ij(n)Z^n Pij(Z)=n=0Pij(n)Znfij(Z)=n=1fij(n)Zn

  这里我们注意一下,上面的展开是从0开始,下面的展开是从1开始。因此,我们需要定义一下零步转移概率和零步首达概率

P i j ( 0 ) = 1 i = j 0 i = j = δ i j P_ij(0) = \\begincases 1 & i=j \\\\ 0 & i \\cancel = j \\endcases = \\delta_ij Pij(0)=10i=ji= j=δij
  这是零步转移概率的定义,从i出发经过0步到达j,如果i和j相同,必然概率是1,而如果1和j不相同,经过零步必然到达不了,概率就是0。

f i j ( 0 ) = 0 f_ij(0) =0 fij(0)=0

  零步首达概率就是,从i出发经过0步首次到达j的概率,因此如果i和j相同,都没有离开,也就谈不上首次到达,因此零步首达概率无论如何都是0

  我们对时间分解等式两边同时做Z变换

P i j ( n ) = ∑ k = 1 n f i j ( k ) P j j ( n − k ) P_ij(n) = \\sum_k=1^n f_ij(k) P_jj(n-k) Pij(n)=k=1nfij(k)Pjj(nk)

∑ n = 0 ∞ P i j ( n ) Z n = ∑ n = 0 ∞ ( ∑ k = 1 n f i j ( k ) P j j ( n − k ) ) Z n = ∑ n = 0 ∞ ∑ k = 1 n f i j ( k ) Z k P j j ( n − k ) Z n − k \\sum_n=0^\\infty P_ij(n)Z^n = \\sum_n=0^\\infty (\\sum_k=1^n f_ij(k)P_jj(n-k))Z^n \\\\ =\\sum_n=0^\\infty \\sum_k=1^n f_ij(k)Z^kP_jj(n-k)Z^n-k n=0Pij(n)Zn=n=0随机过程15 - 离散时间马尔科夫链状态的常返性

随机过程 16 - 离散时间马氏链的渐进行为

随机过程 16 - 离散时间马氏链的渐进行为

随机过程 16 - 离散时间马氏链的渐进行为

应用随机过程03:马尔可夫链的状态

随机过程14 - 离散时间马氏链与转移概率