随机过程14 - 离散时间马氏链与转移概率
Posted Ciaran-byte
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了随机过程14 - 离散时间马氏链与转移概率相关的知识，希望对你有一定的参考价值。
离散时间马尔科夫链与转移概率
1. 马尔科夫性的引入
随机过程中，最重要的就是研究两个随机变量之间的关系。比如相关，就是研究两个随机变量之间的亲疏远近关系。而相关系数表征了两个随机变量之间的角度。对于高斯过程，我们通过联合高斯分布，把若干个随机变量联系在一起。而泊松过程各个点之间的联系体现在事件发生的间隔是指数分布。
如果我们想描绘n个随机变量之间的联系，最好的方法是使用联合分布。
Joint Distribution P ( Z 1 , . . . , Z n ) \\textJoint Distribution\\\\ P(Z_1,...,Z_n) Joint DistributionP(Z1,...,Zn)
但是联合分布求起来非常的麻烦，我们可以尝试使用条件概率的方法来进行计算
P ( Z 1 , . . . , Z n ) = P ( Z n ∣ Z n − 1 , . . . , Z 1 ) P ( Z n − 1 , . . . , Z 1 ) = P ( Z n ∣ Z n − 1 , . . . , Z 1 ) P ( Z n − 1 ∣ Z n − 2 , . . . , Z 1 ) P ( Z n − 2 , . . . , Z 1 ) = ∏ k = 1 n P ( Z k ∣ Z k − 1 , . . . , Z 1 ) P(Z_1,...,Z_n) = P(Z_n|Z_n-1,...,Z_1) P(Z_n-1,...,Z_1) \\\\ = P(Z_n|Z_n-1,...,Z_1) P(Z_n-1|Z_n-2,...,Z_1)P(Z_n-2,...,Z_1) \\\\ = \\prod _k=1^n P(Z_k|Z_k-1,...,Z_1) P(Z1,...,Zn)=P(Zn∣Zn−1,...,Z1)P(Zn−1,...,Z1)=P(Zn∣Zn−1,...,Z1)P(Zn−1∣Zn−2,...,Z1)P(Zn−2,...,Z1)=k=1∏nP(Zk∣Zk−1,...,Z1)
事实上，这样做问题并没有得到简化。虽然增加了条件，随机因素减少了，但是约束条件变多了，实际上问题难度并没有得到降低。
比如两点之间直线最短，如果现在增加一个约束，在球面上走，就需要找一个大圆，不能直接穿过去。继续增加约束，在椭球体上找两点间最短距离，用椭圆积分做。如果是随便给一个曲面，就要找测地线了。目前这还是个没有完全解决的问题。因此，一旦约束变强了，一点都没有解决问题
用等号的式子不叫简化，叫化简。如果要做简化，一定要做假设。
Assumption \\textAssumption Assumption
好的假设需要满足下面三个条件
- 实现起来容易：比如假定某一个方程成立，可能这个方程都没有办法解
- 存在的空间巨大：能满足条件的变量如果没有，变成了空集
- 应用及其广泛：实际环境中，满足这个假设的情况很多
我们在此做一个假设，如果角标是时间的话，表示只有离当前最近的那个随机变量能够产生影响，其他就都可以忽略了。这个假设是马尔科夫做的，因此叫做马尔科夫性
Markov Property P ( Z n ∣ Z n − 1 , . . . , Z 1 ) = P ( Z n ∣ Z n − 1 ) \\textMarkov Property\\\\ P(Z_n | Z_n-1,...,Z_1) = P(Z_n | Z_n-1) Markov PropertyP(Zn∣Zn−1,...,Z1)=P(Zn∣Zn−1)
马尔科夫的这个假设就满足好的假设的三个条件。马尔科夫性实现起来非常容易，很多随机过程都满足马尔科夫性，应用及其广泛，因此这是个好的假设
随机过程按照时间的连续性和状态的连续性可以分为四种
- 离散时间离散状态的随机过程：离散时间马尔科夫链(DT Markov Chain)
- 离散时间连续状态的随机过程：连续时间马尔科夫链(CT Markov Chain)
- 连续时间离散状态的随机过程：泊松过程(Poisson)
- 连续时间连续状态的随机过程：高斯过程(Gaussian)
2. 马尔科夫性与马尔科夫链
2.1 定义
Markov Chains \\textMarkov Chains Markov Chains
假设我们有一个离散的随机过程
Z
n
Z
k
∈
x
1
,
.
.
,
x
n
,
.
.
.
Z\\_n \\ \\\\ Z_k \\in \\x_1,..,x_n,... \\
ZnZk∈x1,..,xn,...
我们任取n个随机变量，都有如下式子成立，这就是马尔科夫性
P ( Z n ∣ Z n − 1 , . . . , Z 1 ) = P ( Z n ∣ Z n − 1 ) P(Z_n | Z_n-1,...,Z_1) = P(Z_n|Z_n-1) P(Zn∣Zn−1,...,Z1)=P(Zn∣Zn−1)
而叫做链是因为，我们把随机过程的状态表征为一个一个的点，状态随着时间进行变换，对不同时间随机过程的状态进行采样，可以得到一个样本轨道。这种形象的表示就是链
2.2 马尔科夫性的解读
我们假设三个符号，A表示过去，B表示现在，C表示将来
A : P a s t B : N o w C : F u t u r e A: Past \\quad B: Now \\quad C: Future A:PastB:NowC:Future
- 解读1：假设我们已知当下和过去，如果我们想去预测未来，只有当下对预测未来是有用的，过去可以忘记了
P ( C ∣ B A ) = P ( C ∣ B ) ( 1 ) P(C|BA) = P(C|B) \\quad (1) P(C∣BA)=P(C∣B)(1)
- 解读2(等价解读)：如果当下是已知的，过去和未来是独立的，当下是连接过去和将来的纽带
P ( C A ∣ B ) = P ( C ∣ B ) P ( A ∣ B ) ( 2 ) P(CA|B ) = P(C|B)P(A|B) \\quad (2) P(CA∣B)=P(C∣B)P(A∣B)(2)
我们验证一下这个式子，首先下面的全概率公式成立
P ( C A ) = P ( C ∣ A ) P ( A ) P(CA) = P(C|A)P(A) P(CA)=P(C∣A)P(A)
加入条件概率之后仍然成立
⇒ P ( C A ∣ B ) = P ( C ∣ B A ) P ( A ∣ B ) = P ( C ∣ B ) P ( A ∣ B ) \\Rightarrow P(CA|B) = P(C|BA)P(A|B) = P(C|B)P(A|B) ⇒P(CA∣B)=P(C∣BA)P(A∣B)=P(C∣B)P(A∣B)
证明了(1)->(2)，再证明(2)->(1)
对于条件概率有这样的式子成立
P ( C ∣ A ) = P ( C A ) P ( A ) P(C|A) = \\fracP(CA)P(A) P(C∣A)=P(A)P(CA)
⇒ P ( C ∣ B A ) = P ( C A ∣ B ) P ( A ∣ B ) = P ( C ∣ B ) P ( A ∣ B ) P ( A ∣ B ) = P ( C ∣ B ) \\Rightarrow P(C|BA) = \\fracP(CA|B)P(A|B) =\\fracP(C|B)P(A|B)P(A|B) = P(C|B) ⇒随机过程14 - 离散时间马氏链与转移概率