隐马尔科夫模型HMM详解——python实现

Posted 2022-11-30 栋次大次

目录

• • • 学习算法
    • • Viterbi学习算法
      • Baum-Welch学习算法
    • python实现

代码地址：https://gitee.com/liangcd/speech_learning/tree/master/HMM
HMM基本概念、概率计算、预测算法请看上一篇文章，感谢您的阅读！

学习算法

已知观测序列$O=\left(o_1,o_2,\dots ,o_T\right),b_j\left(o_t\right)={\sum }_{m=1}^M{c}_{jm}\mathcal{N}\left(o_t;{\mu }_{jm},{\Sigma }_{jm}\right)$，估计GMM-HMM参数$\lambda$，使$P(O|\lambda )$最大。参数$\lambda$包括：

• 初始状态概率向量$\pi =({\pi }_i)$

• 转移概率矩阵$A=[a_{ij}{]}_{N\times N}$

• 状态$j$的GMM参数$(c_{jm},{\mu }_{jm},{\Sigma }_{jm})$,$j=1,2,...,N;m=1,...,M$表示GMM分量标号。

Viterbi学习算法

如果已知状态-观测对齐序列，每个观测$o_t$对应一个具体的状态，状态-观测对齐序列可通过Viterbi解码算法得到，也可通过人工标注得到。知道每个观测对应的状态，则：

${\pi }_i$可通过最大似然估计得到：

• 令$C(i)$表示初始状态为 $i$ 的次数
• ${\hat{\pi }}_i=\frac{C(i)}{{\sum }_{k}C(k)}$

$a_{ij}$也可通过最大似然估计得到：

• 令$C(i\to j)$表示从状态$i$到状态$j$的转移次数
• ${\hat{a}}_{ij}=\frac{C(i\to j)}{{\sum }_{k}C(i\to k)}$

可得每个状态$j$对应的观测集合$Z_j=\left(y_1,y_2,\dots ,y_N\right)$，每个状态对应一个GMM，也就得到了每个GMM对应的观测集合$Z_j=\left(y_1,y_2,\dots ,y_N\right)$。

问题：用viterbi算法得到对齐序列需要用到模型参数$\lambda$，最初的$\lambda$怎么得到？

当GMM只有一个分量，$b_j\left(o_t\right)=\mathcal{N}\left(o_t;{\mu }_j,{\Sigma }_j\right)$，$|Z_j|$表示$Z_j$的元素个数，则：

${\hat{\mu }}_j=\frac{{\sum }_{o_t\in Z_j}{o}_t}{|Z_j|}$
Σ ^ j = ∑ o t ∈ Z j ( o t − μ ^ j ) ( o t − μ ^ j