随机过程14 - 离散时间马氏链与转移概率

Posted Ciaran-byte

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了随机过程14 - 离散时间马氏链与转移概率相关的知识，希望对你有一定的参考价值。

离散时间马尔科夫链与转移概率

文章目录

1. 马尔科夫性的引入

  随机过程中，最重要的就是研究两个随机变量之间的关系。比如相关，就是研究两个随机变量之间的亲疏远近关系。而相关系数表征了两个随机变量之间的角度。对于高斯过程，我们通过联合高斯分布，把若干个随机变量联系在一起。而泊松过程各个点之间的联系体现在事件发生的间隔是指数分布。

  如果我们想描绘n个随机变量之间的联系，最好的方法是使用联合分布。

Joint Distribution P ( Z 1 , . . . , Z n ) \\textJoint Distribution\\\\ P(Z_1,...,Z_n) Joint DistributionP(Z1​,...,Zn​)

  但是联合分布求起来非常的麻烦，我们可以尝试使用条件概率的方法来进行计算

P ( Z 1 , . . . , Z n ) = P ( Z n ∣ Z n − 1 , . . . , Z 1 ) P ( Z n − 1 , . . . , Z 1 ) = P ( Z n ∣ Z n − 1 , . . . , Z 1 ) P ( Z n − 1 ∣ Z n − 2 , . . . , Z 1 ) P ( Z n − 2 , . . . , Z 1 ) = ∏ k = 1 n P ( Z k ∣ Z k − 1 , . . . , Z 1 ) P(Z_1,...,Z_n) = P(Z_n|Z_n-1,...,Z_1) P(Z_n-1,...,Z_1) \\\\ = P(Z_n|Z_n-1,...,Z_1) P(Z_n-1|Z_n-2,...,Z_1)P(Z_n-2,...,Z_1) \\\\ = \\prod _k=1^n P(Z_k|Z_k-1,...,Z_1) P(Z1​,...,Zn​)=P(Zn​∣Zn−1​,...,Z1​)P(Zn−1​,...,Z1​)=P(Zn​∣Zn−1​,...,Z1​)P(Zn−1​∣Zn−2​,...,Z1​)P(Zn−2​,...,Z1​)=k=1∏n​P(Zk​∣Zk−1​,...,Z1​)

  事实上，这样做问题并没有得到简化。虽然增加了条件，随机因素减少了，但是约束条件变多了，实际上问题难度并没有得到降低。

  比如两点之间直线最短，如果现在增加一个约束，在球面上走，就需要找一个大圆，不能直接穿过去。继续增加约束，在椭球体上找两点间最短距离，用椭圆积分做。如果是随便给一个曲面，就要找测地线了。目前这还是个没有完全解决的问题。因此，一旦约束变强了，一点都没有解决问题

  用等号的式子不叫简化，叫化简。如果要做简化，一定要做假设。

Assumption \\textAssumption Assumption

  好的假设需要满足下面三个条件

  • 实现起来容易：比如假定某一个方程成立，可能这个方程都没有办法解
  • 存在的空间巨大：能满足条件的变量如果没有，变成了空集
  • 应用及其广泛：实际环境中，满足这个假设的情况很多

  我们在此做一个假设，如果角标是时间的话，表示只有离当前最近的那个随机变量能够产生影响，其他就都可以忽略了。这个假设是马尔科夫做的，因此叫做马尔科夫性

Markov Property P ( Z n ∣ Z n − 1 , . . . , Z 1 ) = P ( Z n ∣ Z n − 1 ) \\textMarkov Property\\\\ P(Z_n | Z_n-1,...,Z_1) = P(Z_n | Z_n-1) Markov PropertyP(Zn​∣Zn−1​,...,Z1​)=P(Zn​∣Zn−1​)

  马尔科夫的这个假设就满足好的假设的三个条件。马尔科夫性实现起来非常容易，很多随机过程都满足马尔科夫性，应用及其广泛，因此这是个好的假设

  随机过程按照时间的连续性和状态的连续性可以分为四种

  • 离散时间离散状态的随机过程：离散时间马尔科夫链(DT Markov Chain)
  • 离散时间连续状态的随机过程：连续时间马尔科夫链(CT Markov Chain)
  • 连续时间离散状态的随机过程：泊松过程(Poisson)
  • 连续时间连续状态的随机过程：高斯过程(Gaussian)

2. 马尔科夫性与马尔科夫链

2.1 定义

Markov Chains \\textMarkov Chains Markov Chains

  假设我们有一个离散的随机过程

Z n Z k ∈ x 1 , . . , x n , . . . Z\\_n \\ \\\\ Z_k \\in \\x_1,..,x_n,... \\ Zn​Zk​∈x1​,..,xn​,...
  我们任取n个随机变量，都有如下式子成立，这就是马尔科夫性

P ( Z n ∣ Z n − 1 , . . . , Z 1 ) = P ( Z n ∣ Z n − 1 ) P(Z_n | Z_n-1,...,Z_1) = P(Z_n|Z_n-1) P(Zn​∣Zn−1​,...,Z1​)=P(Zn​∣Zn−1​)

  而叫做链是因为，我们把随机过程的状态表征为一个一个的点，状态随着时间进行变换，对不同时间随机过程的状态进行采样，可以得到一个样本轨道。这种形象的表示就是链

2.2 马尔科夫性的解读

  我们假设三个符号，A表示过去，B表示现在，C表示将来

A : P a s t B : N o w C : F u t u r e A: Past \\quad B: Now \\quad C: Future A:PastB:NowC:Future

  • 解读1：假设我们已知当下和过去，如果我们想去预测未来，只有当下对预测未来是有用的，过去可以忘记了

P ( C ∣ B A ) = P ( C ∣ B ) ( 1 ) P(C|BA) = P(C|B) \\quad (1) P(C∣BA)=P(C∣B)(1)

  • 解读2(等价解读)：如果当下是已知的，过去和未来是独立的，当下是连接过去和将来的纽带

P ( C A ∣ B ) = P ( C ∣ B ) P ( A ∣ B ) ( 2 ) P(CA|B ) = P(C|B)P(A|B) \\quad (2) P(CA∣B)=P(C∣B)P(A∣B)(2)

  我们验证一下这个式子，首先下面的全概率公式成立

P ( C A ) = P ( C ∣ A ) P ( A ) P(CA) = P(C|A)P(A) P(CA)=P(C∣A)P(A)

  加入条件概率之后仍然成立

⇒ P ( C A ∣ B ) = P ( C ∣ B A ) P ( A ∣ B ) = P ( C ∣ B ) P ( A ∣ B ) \\Rightarrow P(CA|B) = P(C|BA)P(A|B) = P(C|B)P(A|B) ⇒P(CA∣B)=P(C∣BA)P(A∣B)=P(C∣B)P(A∣B)

  证明了(1)->(2)，再证明(2)->(1)

  对于条件概率有这样的式子成立

P ( C ∣ A ) = P ( C A ) P ( A ) P(C|A) = \\fracP(CA)P(A) P(C∣A)=P(A)P(CA)​

⇒ P ( C ∣ B A ) = P ( C A ∣ B ) P ( A ∣ B ) = P ( C ∣ B ) P ( A ∣ B ) P ( A ∣ B ) = P ( C ∣ B ) \\Rightarrow P(C|BA) = \\fracP(CA|B)P(A|B) =\\fracP(C|B)P(A|B)P(A|B) = P(C|B) ⇒P(C∣以上是关于随机过程14 - 离散时间马氏链与转移概率的主要内容，如果未能解决你的问题，请参考以下文章

随机过程14 - 离散时间马氏链与转移概率

随机过程 16 - 离散时间马氏链的渐进行为

随机过程 16 - 离散时间马氏链的渐进行为

随机过程 16 - 离散时间马氏链的渐进行为

随机过程 17 -离散时间马氏链典型应用

随机过程 17 -离散时间马氏链典型应用