随机过程15 - 离散时间马尔科夫链状态的常返性
Posted Ciaran-byte
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了随机过程15 - 离散时间马尔科夫链状态的常返性相关的知识，希望对你有一定的参考价值。
离散时间马尔科夫链状态的常返性
文章目录
1. 马尔科夫链的状态
这部分来探讨马尔科夫链状态的分类问题
Classification of Status \\textClassification of Status Classification of Status
Z n ⇒ 1 , 2 , 3 , . . . \\ Z_n\\ \\Rightarrow \\1,2,3,... \\ Zn⇒1,2,3,...
1.1 常返态的定义
马尔科夫链的状态包括常返态和非常返态。直观上的定义就是
- 常返态：经常返回来的状态，一旦马尔科夫链来到这个状态就不容易走，一旦离开这个状态又经常回来
- 非常返态：马尔科夫链不容易来到这个状态，几乎不回来，近似被抛弃的状态
Recurrent Stauts Non-Recurrent Status \\textRecurrent Stauts \\\\ \\textNon-Recurrent Status Recurrent StautsNon-Recurrent Status
常返态对于马尔科夫链稳态分析非常重要，因为我们只需要盯着常返态看就行了。
下面我们对常返态下一个解析上的定义
i R e c u r r e n t ⇔ ∑ k = 1 ∞ f i i ( k ) = 1 ( a ) i N o n − R e c u r r e n t ⇔ ∑ k = 1 ∞ f i i ( k ) < 1 ( i ) i \\quad Recurrent \\Leftrightarrow \\sum_k=1^\\infty f_ii(k) = 1 \\quad\\quad (a) \\\\ i \\quad Non-Recurrent \\Leftrightarrow \\sum_k=1^\\infty f_ii(k) < 1 \\quad\\quad (i) iRecurrent⇔k=1∑∞fii(k)=1(a)iNon−Recurrent⇔k=1∑∞fii(k)<1(i)
常返态的定义有很多，但是都是可以相互等价的，这里对常返态的定义是通过首达概率定义的。fii(k)是从i状态出发，经过k步首次回到i的概率
这里需要做两点注解
- 首达概率求和不会超过1
- 转移概率求和等于多少都是有可能的
∑ k = 1 ∞ f i i ( k ) ≤ 1 ∑ k = 1 ∞ P i i ( k ) ∈ [ 0 , ∞ ) ∑ k = 1 ∞ f i i ( k ) ≤ ∑ k = 1 ∞ P i i ( k ) ( i i ) \\sum_k=1^\\inftyf_ii(k) \\leq 1 \\\\ \\sum_k=1^\\inftyP_ii(k) \\in [0,\\infty) \\\\ \\sum_k=1^\\inftyf_ii(k) \\leq \\sum_k=1^\\inftyP_ii(k) \\quad\\quad (ii) k=1∑∞fii(k)≤1k=1∑∞Pii(k)∈[0,∞)k=1∑∞fii(k)≤k=1∑∞Pii(k)(ii)
我们可以这样考虑这个概率。首达概率是转移概率的一个子集，因此首达概率一定小于转移概率。而且，不同的k的首达概率之间没有包含关系；而不同k的转移概率之间是有包含关系的，相当于会连加很多回。
1.2 常返态的判据
下面我们想知道如何判断一个状态是常返态。因为，首达概率其实是很难计算的，ck方程不能拆解出首达概率，因此，如果使用常返态的定义，用首达概率判断常返态是行不通的。我们希望从常返态的定义出发，将首达概率转换为转移概率做判据。
我们用转移概率的时间分解方程来进行分析
P i j ( n ) = ∑ k = 1 n f i j ( k ) P j j ( n − k ) Temporal ( i i i ) P_ij(n) = \\sum_k=1^n f_ij(k) P_jj(n-k) \\quad \\textTemporal \\quad\\quad (iii) Pij(n)=k=1∑nfij(k)Pjj(n−k)Temporal(iii)
对于空间分解方程来说，可以看做是矩阵的乘法，而这里面是对时间分解的，对k来说是个离散的卷积。因此我们应该使用变换域分析来看待这个事情。
连续时间的变换域分析可以使用傅里叶变换和拉普拉斯变换。而离散时间的变换域分析可以使用Z变换或者离散时间傅里叶变换。
这里我们使用Z变换来处理
P i j ( Z ) = ∑ n = 0 ∞ P i j ( n ) Z n f i j ( Z ) = ∑ n = 1 ∞ f i j ( n ) Z n P_ij(Z) = \\sum_n=0^\\inftyP_ij(n)Z^n \\\\ f_ij(Z) = \\sum_n=1^\\inftyf_ij(n)Z^n Pij(Z)=n=0∑∞Pij(n)Znfij(Z)=n=1∑∞fij(n)Zn
这里我们注意一下，上面的展开是从0开始，下面的展开是从1开始。因此，我们需要定义一下零步转移概率和零步首达概率
P
i
j
(
0
)
=
1
i
=
j
0
i
=
j
=
δ
i
j
P_ij(0) = \\begincases 1 & i=j \\\\ 0 & i \\cancel = j \\endcases = \\delta_ij
Pij(0)=10i=ji=
j=δij
这是零步转移概率的定义，从i出发经过0步到达j，如果i和j相同，必然概率是1，而如果1和j不相同，经过零步必然到达不了，概率就是0。
f i j ( 0 ) = 0 f_ij(0) =0 fij(0)=0
零步首达概率就是，从i出发经过0步首次到达j的概率，因此如果i和j相同，都没有离开，也就谈不上首次到达，因此零步首达概率无论如何都是0
我们对时间分解等式两边同时做Z变换
P i j ( n ) = ∑ k = 1 n f i j ( k ) P j j ( n − k ) P_ij(n) = \\sum_k=1^n f_ij(k) P_jj(n-k) Pij(n)=k=1∑nfij(k)Pjj(n−k)
∑ n = 0 ∞ P i j ( n ) Z n = ∑ n = 0 ∞ ( ∑ k = 1 n f i j ( k ) P j j ( n − k ) ) Z n = ∑ n = 0 ∞ ∑ k = 1 n f i j ( k ) Z k P j j ( n − k ) Z n − k \\sum_n=0^\\infty P_ij(n)Z^n = \\sum_n=0^\\infty (\\sum_k=1^n f_ij(k)P_jj(n-k))Z^n \\\\ =\\sum_n=0^\\infty \\sum_k=1^n f_ij(k)Z^kP_jj(n-k)Z^n-k n=0∑∞Pij(n)Zn=n=0∑随机过程15 - 离散时间马尔科夫链状态的常返性