隐马尔可夫模型

Posted 2020-08-14 xyq_idata

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了隐马尔可夫模型相关的知识，希望对你有一定的参考价值。

在概率模型中，利用已知变量推测未知变量的分布称为“推断”，其核心是如何基于可观测变量推测出位置变量的条件分布。

概率图模型是一类用图来表达变量相关关系的概率模型。它以图为表示工具，最常见的使用一个结点表示一个或一组随机变量，结点之间的边表示变量间的概率相关关系，即“变量关系图”。根据边的性质不同，概率图模型可大致分为两类：

第一类是使用有向无环图表示变量间的依赖关系，称为有向图模型或贝叶斯网；
第二类是使用无向图表示变量之间的相关关系，称为无向图模型或马尔可夫网。

隐马尔科夫模型（Hidden Markov Model，简称HMM）是结构最简单的动态贝叶斯网，这是一种著名的有向图模型，主要用于时序数据建模，在语音识别、自然语言处理等领域有广泛应用。

隐马尔科夫模型中的变量可分为两组。第一组是状态变量 $\\{y_1,y_2,...,y_n\\}$ ,其中 $y_i\\in\\mathcal{Y}$ 表示第时刻的系统状态.通常假定状态变量是隐藏的,不可被观测的,因此状态变量亦称隐变量.第二组是观测变量 $\\{x_1,x_2,...,x_n\\}$ ,其中 $x_i\\in\\mathcal{X}$ 表示第时刻的观测值。在隐马尔科夫模型中，系统通常在多个状态 $\\{s_1,s_2,...,s_N\\}$ 之间转换，因此状态变量 y_i 的取值范围 $\\mathcal{Y}$ （称为状态空间）通常是有个可能取值的离散空间。观测变量 x_i 可以是离散型也可以是连续型，为便于讨论，我们仅考虑离散型观测变量，并假定其取值范围 $\\mathcal{X}$ 为 $\\{o_1,o_2,...,o_M\\}$ .

图 14.1 隐马尔可夫模型的图结构

图14.1中的箭头表示了变量间的依赖关系。在任何时刻，观测变量的取值仅依赖于状态变量，即 x_t 由 y_t 确定,与其他状态变量及观测变量的取值无关.同时,时刻的状态 y_t 仅依赖于 t-1 时刻的状态 $y_{t-1}$ ,与其余 n-2 个状态无关.这就是所谓的"马尔可夫链"(Markov chain)，即：系统下一时刻的状态仅由当前状态决定，不依赖于以往的任何状态。基于这种依赖关系，所有变量的联合概率分布为

$P(x_1,y_1,\\dots,x_n,y_n)=p(y_1)P(x_1|y_1)\\prod_{i=2}^nP(y_i|y_{i-1})P(x_i|y_i)$

除了结构信息，欲确定一个隐马尔可夫模型还需以下三组参数：

状态转移概率:模型在各个状态间转换的概率,通常记为矩阵 $A=[a_{ij}]_{N\\times{N}}$ ,其中

$a_{ij}=P(y_{t+1}=s_j|y_t=s_i),\\qquad1\\leqslant{i,j}\\leqslant{N},$

表示在任意时刻,若状态为,则在下一时刻状态为的概率.

输出观测概率:模型根据当前状态获得各个观测值的概率,通常记为矩阵 $B=[b_{ij}]_{N\\times{M}}$ ,其中

$b_{ij}=P(x_t=o_j|y_t=s_i),\\qquad1\\leqslant{i}\\leqslant{N},1\\leqslant{j}\\leqslant{M}$

表示在任意时刻,若状态为,则观测值被获取的概率.

初始状态概率:模型在初始时刻各状态出现的概率,通常记为 $\\pi=(\\pi_1,\\pi_2,\\dots,\\pi_N)$ ,其中

$\\pi_i=P(y_1=s_i),\\qquad1\\leqslant{i}\\leqslant{N}$

表示模型的初始状态为的概率。

通过指定状态空间 $\\mathcal{Y}$ 、观测空间 $\\mathcal{X}$ 和上述三组参数，就能确定一个隐马尔可夫模型，通常用其参数 $\\lambda=[A,B,\\pi]$ 来指代. 给定隐马尔可夫模型 $\\bold{\\lambda}$ ,它按如下过程产生观测序列 $\\{x_1,x_2,\\dots,x_n\\}$ :