随机过程15 - 离散时间马尔科夫链状态的常返性

Posted Ciaran-byte

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了随机过程15 - 离散时间马尔科夫链状态的常返性相关的知识，希望对你有一定的参考价值。

离散时间马尔科夫链状态的常返性

文章目录

1. 马尔科夫链的状态

  这部分来探讨马尔科夫链状态的分类问题

Classification of Status \\textClassification of Status Classification of Status

Z n ⇒ 1 , 2 , 3 , . . . \\ Z_n\\ \\Rightarrow \\1,2,3,... \\ Zn​⇒1,2,3,...

1.1 常返态的定义

  马尔科夫链的状态包括常返态和非常返态。直观上的定义就是

  • 常返态：经常返回来的状态，一旦马尔科夫链来到这个状态就不容易走，一旦离开这个状态又经常回来
  • 非常返态：马尔科夫链不容易来到这个状态，几乎不回来，近似被抛弃的状态

Recurrent Stauts Non-Recurrent Status \\textRecurrent Stauts \\\\ \\textNon-Recurrent Status Recurrent StautsNon-Recurrent Status

  常返态对于马尔科夫链稳态分析非常重要，因为我们只需要盯着常返态看就行了。

  下面我们对常返态下一个解析上的定义

i R e c u r r e n t ⇔ ∑ k = 1 ∞ f i i ( k ) = 1 ( a ) i N o n − R e c u r r e n t ⇔ ∑ k = 1 ∞ f i i ( k ) < 1 ( i ) i \\quad Recurrent \\Leftrightarrow \\sum_k=1^\\infty f_ii(k) = 1 \\quad\\quad (a) \\\\ i \\quad Non-Recurrent \\Leftrightarrow \\sum_k=1^\\infty f_ii(k) < 1 \\quad\\quad (i) iRecurrent⇔k=1∑∞​fii​(k)=1(a)iNon−Recurrent⇔k=1∑∞​fii​(k)<1(i)

  常返态的定义有很多，但是都是可以相互等价的，这里对常返态的定义是通过首达概率定义的。fii(k)是从i状态出发，经过k步首次回到i的概率

  这里需要做两点注解

  • 首达概率求和不会超过1
  • 转移概率求和等于多少都是有可能的

∑ k = 1 ∞ f i i ( k ) ≤ 1 ∑ k = 1 ∞ P i i ( k ) ∈ [ 0 , ∞ ) ∑ k = 1 ∞ f i i ( k ) ≤ ∑ k = 1 ∞ P i i ( k ) ( i i ) \\sum_k=1^\\inftyf_ii(k) \\leq 1 \\\\ \\sum_k=1^\\inftyP_ii(k) \\in [0,\\infty) \\\\ \\sum_k=1^\\inftyf_ii(k) \\leq \\sum_k=1^\\inftyP_ii(k) \\quad\\quad (ii) k=1∑∞​fii​(k)≤1k=1∑∞​Pii​(k)∈[0,∞)k=1∑∞​fii​(k)≤k=1∑∞​Pii​(k)(ii)

  我们可以这样考虑这个概率。首达概率是转移概率的一个子集，因此首达概率一定小于转移概率。而且，不同的k的首达概率之间没有包含关系；而不同k的转移概率之间是有包含关系的，相当于会连加很多回。

1.2 常返态的判据

  下面我们想知道如何判断一个状态是常返态。因为，首达概率其实是很难计算的，ck方程不能拆解出首达概率，因此，如果使用常返态的定义，用首达概率判断常返态是行不通的。我们希望从常返态的定义出发，将首达概率转换为转移概率做判据。

  我们用转移概率的时间分解方程来进行分析

P i j ( n ) = ∑ k = 1 n f i j ( k ) P j j ( n − k ) Temporal ( i i i ) P_ij(n) = \\sum_k=1^n f_ij(k) P_jj(n-k) \\quad \\textTemporal \\quad\\quad (iii) Pij​(n)=k=1∑n​fij​(k)Pjj​(n−k)Temporal(iii)

  对于空间分解方程来说，可以看做是矩阵的乘法，而这里面是对时间分解的，对k来说是个离散的卷积。因此我们应该使用变换域分析来看待这个事情。

  连续时间的变换域分析可以使用傅里叶变换和拉普拉斯变换。而离散时间的变换域分析可以使用Z变换或者离散时间傅里叶变换。

  这里我们使用Z变换来处理

P i j ( Z ) = ∑ n = 0 ∞ P i j ( n ) Z n f i j ( Z ) = ∑ n = 1 ∞ f i j ( n ) Z n P_ij(Z) = \\sum_n=0^\\inftyP_ij(n)Z^n \\\\ f_ij(Z) = \\sum_n=1^\\inftyf_ij(n)Z^n Pij​(Z)=n=0∑∞​Pij​(n)Znfij​(Z)=n=1∑∞​fij​(n)Zn

  这里我们注意一下，上面的展开是从0开始，下面的展开是从1开始。因此，我们需要定义一下零步转移概率和零步首达概率

P i j ( 0 ) = 1 i = j 0 i = j = δ i j P_ij(0) = \\begincases 1 & i=j \\\\ 0 & i \\cancel = j \\endcases = \\delta_ij Pij​(0)=10​i=ji= ​j​=δij​
  这是零步转移概率的定义，从i出发经过0步到达j，如果i和j相同，必然概率是1，而如果1和j不相同，经过零步必然到达不了，概率就是0。

f i j ( 0 ) = 0 f_ij(0) =0 fij​(0)=0

  零步首达概率就是，从i出发经过0步首次到达j的概率，因此如果i和j相同，都没有离开，也就谈不上首次到达，因此零步首达概率无论如何都是0

  我们对时间分解等式两边同时做Z变换

P i j ( n ) = ∑ k = 1 n f i j ( k ) P j j ( n − k ) P_ij(n) = \\sum_k=1^n f_ij(k) P_jj(n-k) Pij​(n)=k=1∑n​fij​(k)Pjj​(n−k)

∑ n = 0 ∞ P i j ( n ) Z n = ∑ n = 0 ∞ ( ∑ k = 1 n f i j ( k ) P j j ( n − k ) ) Z n = ∑ n = 0 ∞ ∑ k = 1 n f i j ( k ) Z k P j j ( n − k ) Z n − k \\sum_n=0^\\infty P_ij(n)Z^n = \\sum_n=0^\\infty (\\sum_k=1^n f_ij(k)P_jj(n-k))Z^n \\\\ =\\sum_n=0^\\infty \\sum_k=1^n f_ij(k)Z^kP_jj(n-k)Z^n-k n=0∑∞​Pij​(n)Zn=n=0∑∞​以上是关于随机过程15 - 离散时间马尔科夫链状态的常返性的主要内容，如果未能解决你的问题，请参考以下文章

随机过程15 - 离散时间马尔科夫链状态的常返性

随机过程 16 - 离散时间马氏链的渐进行为

随机过程 16 - 离散时间马氏链的渐进行为

随机过程 16 - 离散时间马氏链的渐进行为

应用随机过程03：马尔可夫链的状态

随机过程14 - 离散时间马氏链与转移概率