应用随机过程03：马尔可夫链的状态

Posted 2022-02-20 这个XD很懒

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了应用随机过程03：马尔可夫链的状态相关的知识，希望对你有一定的参考价值。

本文主要对马尔可夫链的状态进行了分类讨论，介绍了一些用来刻画马尔可夫链状态特性的变量。

第三讲马尔可夫链的状态
- 一、常返和暂留
- 二、状态之间的关系
  - Part 1：互达
  - Part 2：周期

第三讲马尔可夫链的状态

一、常返和暂留

Part 1：常返和暂留的定义

在马尔可夫链运行和转移的过程中，各个状态所起的作用不完全相同，因此我们要讨论几类特殊状态的特点，并给出状态空间的分解定理。设 \\(\\X_n\\\\) 是一个时齐马尔可夫链，这是我们这一节的研究对象。此外这一节的概念比较多，需要注意区分。

首中时：给定状态 \\(j\\in I\\) ，定义 \\(\\tau_j=\\inf\\n\\geq1:X_n=j\\\\) ，称为 \\(j\\) 的首中时。约定 \\(\\inf\\varnothing=\\infty\\) ，即如果不存在 \\(n\\geq1\\) 使得 \\(X_n=j\\) ，则定义 \\(\\tau_j=\\infty\\) 。

首中时的含义是在零时刻从状态 \\(i\\) 出发的马尔可夫链首次到达状态 \\(j\\) 的时刻。

当 \\(X_0=i=j\\) 时，\\(\\tau_j\\) 表示马尔可夫链首次回到状态 \\(j\\) 的时刻；
当 \\(X_0=i\\neq j\\) 时，\\(\\tau_j\\) 表示马尔可夫链首次到达状态 \\(j\\) 的时刻。

利用首中时的概念，我们可以将马尔可夫链的状态分为常返态和暂留态。

如果 \\(P(\\tau_j<\\infty|X_0=j)=1\\) ，则称 \\(j\\) 是常返态。常返态的含义是从某一状态出发以概率 \\(1\\) 在有限时间内返回该状态。
如果 \\(P(\\tau_j<\\infty|X_0=j)<1\\) ，则称 \\(j\\) 是暂留态。暂留态的含义是从某一状态出发以一个正的概率不再返回该状态。

平均回转时：若状态 \\(j\\) 是常返态，定义 \\(\\mu_j=\\rm E(\\tau_j|X_0=j)\\) ，称为 \\(j\\) 的平均回转时。

利用平均回转时的概念，我们可以将常返态进一步分为正常返态和零常返态。

如果 \\(\\mu_j=\\rm E(\\tau_j|X_0=j)<\\infty\\) ，则称 \\(j\\) 是正常返态。
如果 \\(\\mu_j=\\rm E(\\tau_j|X_0=j)=\\infty\\) ，则称 \\(j\\) 是零常返态。

上述定义说明的是，在平均的意义下，正常返态的返回速度快于零常返态的返回速度。

简单回顾一下，这一部分我们介绍了两个概念——首中时和平均回转时。根据首中时我们将马尔可夫链的状态分为常返态和暂留态，根据平均回转时我们又将常返态分为了正常返态和零常返态。

Part 2：常返的判别条件 I

在上一节的学习中，我们知道马尔可夫链的性质常常用转移概率来刻画。在定义了常返态和暂留态之后，我们也希望能用一个概率来刻画常返态和暂留态的性质。

首先我们定义 \\(n\\) 步首次击中概率和 \\(n\\) 步首次返回概率。

令 \\(f_ij^(n)\\) 表示从状态 \\(i\\) 出发经过 \\(n\\) 步之后首次击中状态 \\(j\\) 的概率，则有

\\[f_ij^(n)=P\\left(\\tau_j=n|X_0=i\\right)=P\\left(X_n=j,X_n-1\\neq j,\\cdots,X_1\\neq j|X_0=i\\right) \\ . \\]

令 \\(f_jj^(n)\\) 表示从状态 \\(j\\) 出发经过 \\(n\\) 步之后首次返回状态 \\(j\\) 的概率，则有

\\[f_jj^(n)=P\\left(\\tau_j=n|X_0=j\\right)=P\\left(X_n=j,X_n-1\\neq j,\\cdots,X_1\\neq j|X_0=j\\right) \\ . \\]

接着我们定义可达概率和可返回概率。

令 \\(f_ij\\) 表示从状态 \\(i\\) 出发在有限步能击中状态 \\(j\\) 的概率，则有

\\[f_ij=P(\\tau_j<\\infty|X_0=i)=\\sum_n=1^\\infty f_ij^(n) \\ . \\]

令 \\(f_jj\\) 表示从状态 \\(j\\) 出发在有限步能返回状态 \\(j\\) 的概率，则有

\\[f_jj=P(\\tau_j<\\infty|X_0=j)=\\sum_n=1^\\infty f_jj^(n) \\ . \\]

根据以上定义，我们可以得到常返态的第一个判别条件：

状态 \\(j\\) 是常返态，当且仅当 \\(f_jj=1\\) 。
状态 \\(j\\) 是暂留态，当且仅当 \\(f_jj<1\\) 。

若状态 \\(j\\) 是常返态，我们可以通过 \\(n\\) 步首次返回概率计算平均回转时，从而对正常返态和零常返态进行判别。利用离散型随机变量的数学期望的定义即可得到

\\[\\mu_j=\\rm E(\\tau_j|X_0=j)=\\sum_n=1^\\infty nf_jj^(n) \\ . \\]

概括以上判别方法的主要思路：对于状态 \\(j\\) 的每一步 \\(n\\) 求出 \\(f_jj^(n)\\) ，根据 \\(f_jj=\\displaystyle\\sum_n=1^\\infty f_jj^(n)\\) 和 \\(\\mu_j=\\displaystyle\\sum_n=1^\\infty nf_jj^(n)\\) 计算可返回概率和平均回转时，从而判断状态 \\(j\\) 的常返性。

在实际应用时，我们一般计算 \\(f_jj^(n)\\) 的方法是画出状态转移图，利用图论的知识和一步转移概率进行计算。显然，这种方法适用于状态转移过程简单的马尔可夫链，对于复杂的马尔可夫链并不适用。

Part 3：常返的判别条件 II

回到时齐的马尔可夫链本身，我们往往已知的是一步转移概率矩阵 \\(P\\) ，从而很容易得到 \\(n\\) 步转移概率矩阵 \\(P^n\\) 。下面我们就从转移概率的角度来给出常返态的判别条件。

首先讨论一下常返态的特性：假设状态 \\(j\\) 是常返态，并且过程开始时处于 \\(j\\) ，则过程将以概率 \\(1\\) 返回 \\(j\\) 。由马尔可夫链的定义知，当它再次进入 \\(j\\) 时，上述过程将被重复，从而状态 \\(j\\) 将以概率 \\(1\\) 再次被访问。继续重复可得如下结论：如果状态 \\(j\\) 是常返态，那么开始处于状态 \\(j\\) 的过程将以概率 \\(1\\) 无穷多次地返回状态 \\(j\\) 。

定义 \\(N_j=\\sharp\\n\\geq0:X_n=j\\\\) ，表示马尔可夫链访问 \\(j\\) 的次数。我们可以得到常返态的第二个判别条件：

状态 \\(j\\) 是常返态，当且仅当 \\(P(N_j=\\infty|X_0=j)=1\\) ，当且仅当 \\(\\displaystyle\\sum_n=1^\\infty p_jj^(n)=\\infty\\) 。
状态 \\(j\\) 是暂留态，当且仅当 \\(P(N_j<\\infty|X_0=j)=1\\) ，当且仅当 \\(\\displaystyle\\sum_n=1^\\infty p_jj^(n)<\\infty\\) 。

这里我们需要给出第二个等价条件的证明。根据数学期望的定义，显然有如下结论成立：

若 \\(P(N_j=\\infty|X_0=j)=1\\) ，则 \\(\\rm E\\left(N_j|X_0=j\\right)=\\infty\\) ；

若 \\(P(N_j<\\infty|X_0=j)=1\\) ，则 \\(\\rm E\\left(N_j|X_0=j\\right)<\\infty\\) 。

令 \\(I_n=\\left\\\\beginarrayll1\\ , & X_n=j \\ , \\\\ 0 \\ , & X_n\\neq j \\ .\\endarray\\right.\\) ，则 \\(N_j=\\displaystyle\\sum_n=0^\\infty I_n\\) 表示马尔可夫链处于状态 \\(j\\) 的次数。于是

\\[\\rm E\\left(N_j|X_0=j\\right)=\\sum_n=0^\\infty\\rm E\\left(I_n|X_0=j\\right)=\\sum_n=0^\\infty P\\left(X_n=j|X_0=j\\right)=\\sum_n=0^\\infty p_jj^(n) \\ . \\]
如此我们就证明了第二个等价条件成立。

我们再讨论一下暂留态的特性：假设状态 \\(i\\) 是暂留态，则有可返回概率 \\(f_jj<1\\) 。因此过程每次访问 \\(i\\) 都将以一个正的概率 \\(1-f_ii\\) 不再进入这个状态。所以，开始处于状态 \\(i\\) 的过程将恰好在状态 \\(i\\) 访问 \\(n\\) 次的概率等于 \\(f_ii^n-1\\left(1-f_ii\\right)\\) 。

换句话说，如果状态 \\(i\\) 是暂留态，那么开始处于状态 \\(i\\) 的过程再次访问 \\(i\\) 的次数服从参数为 \\(1-f_ii\\) 的几何分布。利用几何分布的数学期望，也可以得到

\\[\\sum_n=0^\\infty p_jj^(n)=\\rm E\\left(N_j|X_0=j\\right)=\\frac11-f_jj<\\infty \\ . \\]

推论：一个暂留态只能被访问有限次，从而一个有限状态的马尔可夫链中至少有一个状态是常返态。推论可以用反证法进行证明，假设所有状态都是暂留态，进而推出在有限时间后无状态可访问即可。

二、状态之间的关系

Part 1：互达

关于常返和暂留的特点，以上我们都是对单个状态进行讨论的，下面我们考虑能否通过状态之间的关系来判断一个状态的常返性。

首先介绍一下可达和互达的概念。设 \\(i\\) 和 \\(j\\) 是状态空间 \\(I\\) 中的任意两个状态：

如果存在 \\(n\\geq1\\) 使得 \\(p_ij^(n)>0\\) ，则称状态 \\(i\\) 可达状态 \\(j\\) ，记为 \\(i\\to j\\) 。
如果 \\(i\\to j\\) 且 \\(j\\to i\\) ，则称状态 \\(i\\) 和状态 \\(j\\) 互达，记为 \\(i\\leftrightarrow j\\) 。

可以证明互达关系是一种等价关系，满足以下三个性质：

自反性：\\(i\\leftrightarrow j\\) ；
对称性：如果 \\(i\\leftrightarrow j\\) ，则 \\(j\\leftrightarrow i\\) ；
传递性：如果 \\(i\\leftrightarrow j,\\,j\\leftrightarrow k\\) ，则 \\(i\\leftrightarrow k\\) 。

我们将两个互达的状态，称为属于同一个互达等价类中。于是，按照互达关系，状态空间 \\(I\\) 可以表示成可列个互不相交的互达等价类的并。如果状态空间 \\(I\\) 中的任意两个状态都是互达的，则称该马尔可夫链是不可约的。

闭集：设 \\(C\\subset I\\) 是一个互达等价类，如果从 \\(C\\) 中的任何状态出发，都无法到达 \\(I\\setminus C\\) 中的状态，则称 \\(C\\) 为闭集。换句话说，如果 \\(C\\) 是闭集，则对任意 \\(i\\in C\\) 和 \\(j\\notin C\\) ，都有 \\(i\\not\\to j\\) 。一般规定空集 \\(\\varnothing\\) 和状态空间 \\(I\\) 是闭集。

吸收态：如果闭集 \\(C\\subset I\\) 只有一个状态 \\(i\\) ，即 \\(C=\\i\\\\) ，则称状态 \\(i\\) 为吸收态。吸收态的含义是一旦处于该状态，它将永远不会离开。

我们可以举个例子来理解，设马尔可夫链的状态空间 \\(I=\\1,2,3,4,5,6\\\\) ，转移概率矩阵为

\\[P=\\left[ \\beginarraycccccc \\frac12 & \\frac12 & 0 & 0 & 0 & 0 \\\\ \\frac14 & \\frac34 & 0 & 0 & 0 & 0 \\\\ 0 & 0 & 0 & 1 & 0 & 0 \\\\ 0 & 0 & \\frac13 & 0 & \\frac13 & \\frac13 \\\\ 0 & 0 & 0 & 1 & 0 & 0 \\\\ 0 & 0 & 0 & 0 & 0 & 1 \\endarray \\right] \\ , \\]
则该状态空间可以分为三个互达等价类：\\(C_1=\\1,2\\,\\,C_2=\\3,4,5\\,\\,C_3=\\6\\\\) 。其中 \\(C_1\\) 和 \\(C_3\\) 是闭集，因为从 \\(C_1\\) 或 \\(C_3\\) 出发不可能到达其他互达等价类。而 \\(C_2\\) 不是闭集，因为从 \\(C_2\\) 出发可以到达 \\(C_3\\) 。此外 \\(C_3\\) 是吸收态，因为 \\(C_3\\) 是闭集且只有一个状态。