机器学习九大算法---隐马尔科夫模型

Posted 2020-12-28 dicksonjyl

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了机器学习九大算法---隐马尔科夫模型相关的知识，希望对你有一定的参考价值。

机器学习九大算法---隐马尔科夫模型

转自：http://blog.csdn.net/baimafujinji/article/details/51285082

前导性推荐阅读资料：

引言

在之前介绍贝叶斯网络的博文中，我们已经讨论过概率图模型（PGM）的概念了。Russell等在文献【1】中指出：“在统计学中，图模型这个术语指包含贝叶斯网络在内的比较宽泛的一类数据结构。” 维基百科中更准确地给出了PGM的定义：“A graphical model or probabilistic graphical model is a probabilistic model for which a graph expresses the conditional dependence structure between random variables. ” 如果你已经掌握了贝叶斯网络，那么你一定不会对PGM的概念感到陌生。本文将要向你介绍另外一种类型的PGM，即隐马尔可夫模型（HMM，Hidden Markov Model）。更准确地说，HMM是一种特殊的贝叶斯网络。

一些必备的数学知识

随机过程（Stochastic Process）是一连串随机事件动态关系的定量描述。如果用更为严谨的数学语言来描述，则有：设对每一个

即

参数

马尔科夫过程（Markov Process）是本文中我们所要关注的一种随机过程。粗略地说，一个随机过程，若已知现在的

同样，我们给出一个精确的数学定义如下：若随机过程

从时间角度考虑不确定性

在前面给出的贝叶斯网络例子中，每一个随机变量都有唯一的一个固定取值。当我们观察到一个结果或状态时（例如Mary给你打电话），我们的任务是据此推断此时发生地震的概率有多大。而在此过程中，Mary是否给你打过电话这个状态并不会改变，而地震是否已经发生也不会改变。这就说明，我们其实是在一个静态的世界中来进行推理的。

但是我们现在要研究的HMM，其本质则是基于一种动态的情况来进行推理，或者说是根据历史来进行推理。假设要为一个高血压病人提供治疗方案，医生每天为他量一次血压，并根据这个血压的测量值调配用药的剂量。显然，一个人当前的血压情况是跟他过去一段时间里的身体情况、治疗方案，饮食起居等多种因素息息相关的，而当前的血压测量值相等于是对他当时身体情况的一个“估计”，而医生当天开具的处方应该是基于当前血压测量值及过往一段时间里病人的多种情况综合考虑后的结果。为了根据历史情况评价当前状态，并且预测治疗方案的结果，我们就必须对这些动态因素建立数学模型。

而隐马尔科夫模型就是解决这类问题时最常用的一种数学模型，简单来说，HMM是用单一离散随机变量描述过程状态的时序概率模型。HMM的基本模型可用下图来表示，其中涂有阴影的圆圈

再结合HMM的基本图模型（即上图），我们就会得出HMM模型中的两个重要概率的表达式：

离散的转移概率（Transition Probability）“
连续（或离散）的测量概率（Measurement Probability）

一个简单的例子

现在我们已经了解了HMM的基本结构，接下来不妨通过一个实际的例子来考察一下，HMM的转移概率和测量概率到底是什么样的。下图给出了一个用于表示股市动态的概率图模型，更具体的说这是一个马尔科夫模型（Markov Model），因为该图并未涉及隐状态信息。根据之前（以贝叶斯网络为例的）PGM学习，读者应该可以看懂改图所要展示的信息。例如，标记为 1 的圆圈表示的是当前股市正处于牛市，由此出发引出一条指向自身，权值为0.6的箭头，这表示股市（下一时刻）继续为牛市的概率为0.6；由标记为 1 的圆圈引出的一条指向标记为 2 的圆圈的箭头，其权值为0.2，这表示股市（下一时刻）转入熊市的概率是0.2；最后，由标记为 1 的圆圈引出的一条指向标记为 3 的圆圈的箭头，其权值为0.2，这表示股市（下一时刻）保持不变的概率是0.2。显然，从同一状态引出的所有概率之和必须等于1。