20210920HMM入门
Posted Yang SiCheng
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了20210920HMM入门相关的知识，希望对你有一定的参考价值。
隐马尔可夫模型 Hidden Markov Model
本文参考的视频链接
首先要知道什么式序列（Series），什么是集合（Set）
时间序列模型 Discrete Dynamic Model: Hidden Markov Model
P ( X t ∣ X t − 1 , X t − 2 … . X 1 ) = P ( X t ∣ X t − 1 ) (1) \\begin{aligned} & P\\left(X_{t} | X_{t-1}, X_{t-2} \\ldots . X_{1}\\right) \\\\ =& P\\left(X_{t} \\mid X_{t-1}\\right)\\tag{1} \\end{aligned} =P(Xt∣Xt−1,Xt−2….X1)P(Xt∣Xt−1)(1)
1. 马尔可夫过程简介
在我们知道一系列隐状态之后，我们的观测都是独立的
股市中的箭头的数值指的就是式(1)的概率值
为了所有的符号一致，现在把所有的隐状态记为q：
- p ( q t ∣ q t − 1 ) p(q_t|q_{t-1}) p(qt∣qt−1)→transition probability（转移概率，在HMM里面，一定是离散的）
- p ( y t ∣ q t ) p(y_t|q_t) p(yt∣qt)→emission/measurement probability（发射概率，并不一定是离散的）
这两个概率决定了HMM模型
在语音里面的应用如下所示（音标是隐变量）
HMM图模型
知道隐状态之后，观测都是独立的！
2. {A、B、 π \\pi π}
在HMM里面，transition probability用一个矩阵（k×k）来表示：
- 我们用一个 A k × k A_{k×k} Ak×k的矩阵代表 p ( q t ∣ q t − 1 ) p(q_t|q_{t-1}) p(qt∣qt−1)
- 假设 p ( y t ∣ q t ) p(y_t|q_t) p(yt∣qt)是离散的，我们用一个 B k × L B_{k×L} Bk×L来表示
现在思考，是否只有
λ
=
{
A
,
B
}
\\lambda=\\{A,B\\}
λ={A,B}便可以描述HMM模型
所以请思考，怎么计算股票观测到 P ( y 1 = u p , y 2 = u p , y 3 = d o w n ) P(y_1=up,y_2=up,y_3=down) P(y1=up,y2=up,y3=down)的概率？
我们知道：
P
(
x
)
=
∫
y
P
(
x
,
y
)
d
y
P(x)=\\int_{y} P(x, y) d y
P(x)=∫yP(x,y)dy
所以原概率可以转化为：
P
(
y
1
,
y
2
,
y
3
)
=
∑
q
1
=
1
k
∑
q
2
=
1
k
∑
q
3
=
1
k
p
(
y
1
,
y
2
,
y
3
,
q
1
,
q
2
,
q
3
)
=
∑
q
1
=
1
k
∑
q
2
=
1
k
∑
q
3
=
1
k
p
(
y
3
∣
y
1
,
y
2
,
q
1
,
q
2
,
q
3
)
×
p
(
y
1
,
y
2
,
q
1
,
q
2
,
q
3
)
=
∑
q
1
=
1
k
∑
q
2
=
1
k
∑
q
3
=
1
k
p
(
y
3
∣
q
3
)
×
p
(
y
1
,
y
2
,
q
1
,
q
2
,
q
3
)
=
∑
q
1
=
1
k
∑
q
2
=
1
k
∑
q
3
=
1
k
p
(
y
3
∣
q
3
)
×
p
(
q
3
∣
y
1
,
y
2
,
q
1
,
q
2
)
×
(
y
1
,
y
2
,
q
1
,
q
2
)
=
∑
q
1
=
1
k
∑
q
2
=
1
k
∑
q
3
=
1
k
p
(
y
3
∣
q
3
)
×
p
(
q
3
∣
q
2
)
×
(
y
1
,
y
2
,
q
1
,
q
2
)
=
∑
q
1
=
1
k
∑
q
2
=
1
k
∑
q
3
=
1
k
p
(
y
3
∣
q
3
)
×
p
(
q
3
∣
q
2
)
×
p
(
y
2
∣
q
2
)
×
p
(
q
2
∣
q
1
)
×
p
(
y
1
∣
q
1
)
×
p
(
q
1
)
\\begin{aligned} P\\left(y_{1}, y_{2}, y_{3}\\right)&=\\sum_{q_1=1}^{k} \\sum_{q_2=1}^{k} \\sum_{q_{3}=1}^{k} p\\left(y_{1}, y_{2}, y_{3}, q_{1}, q_{2}, q_{3}\\right)\\\\ &=\\sum_{q_1=1}^{k} \\sum_{q_2=1}^{k} \\sum_{q_{3}=1}^{k}p(y_3|y_{1}, y_{2}, q_{1}, q_{2}, q_{3})\\times p(y_{1}, y_{2}, q_{1}, q_{2}, q_{3})\\\\ &=\\sum_{q_1=1}^{k} \\sum_{q_2=1}^{k} \\sum_{q_{3}=1}^{k}p(y_3|q_{3})\\times p(y_{1}, y_{2}, q_{1}, q_{2}, q_{3})\\\\ &=\\sum_{q_1=1}^{k} \\sum_{q_2=1}^{k} \\sum_{q_{3}=1}^{k}p(y_3|q_{3})\\times p(q_{3}|y_{1}, y_{2}, q_{1}, q_{2})\\times ({y_{1}, y_{2}, q_{1}, q_{2}})\\\\ &=\\sum_{q_1=1}^{k} \\sum_{q_2=1}^{k} \\sum_{q_{3}=1}^{k}p(y_3|q_{3})\\times p(q_{3}|q_{2})\\times ({y_{1}, y_{2}, q_{1}, q_{2}})\\\\ &=\\sum_{q_1=1}^{k} \\sum_{q_2=1}^{k} \\sum_{q_{3}=1}^{k}p(y_3|q_{3})\\times p(q_{3}|q_{2})\\times p(y_2|q_{2})\\times p(q_{2}|q_{1})\\times p(y_1|q_{1})\\times p(q_{1}) \\end{aligned}
P(y1,y2,y3)=q1=1∑kq2=1∑kq3=1∑kp(y1,y2,y3,q1,qHMM隐马尔科夫模型