隐马尔科夫模型（HMM）

Posted 2023-05-03

参考技术A 隐马尔可夫模型(Hidden Markov Model)，简称HMM， 是一种基于 概率统计 的模型，是一种结构最简单的 动态贝叶斯网 ，是一种重要的 有向图模型 。它用来描述一个含有隐含未知参数的 马尔可夫过程(Markov Process) 。其难点是从 可观察参数 中确定该过程的 隐参数 ，然后利用这些参数来作进一步的分析。

马尔可夫过程 (Markov Process)，它因俄罗斯数学家安德烈·马尔可夫而得名，代表数学中具有马尔可夫性质的离散 随机过程 。它的原始模型马尔可夫链，由安德烈·马尔可夫于1907年提出。

X1, … , Xn，每个状态值取决于前面有限个状态。如果 Xn+1 对于过去状态的条件概率分布仅是 Xn 的一个函数，则

在马尔科夫链中，每一个圆圈代表相应时刻的状态，有向边代表了可能的状态转移，权值表示状态转移概率。 

这里“隐”指的是马尔科夫链中任意时刻的状态变量是不可见的，也就是说状态序列S0,S1,...,St无法直接观测到。但是HMM中每时刻有一个可见的观测值Ot与之对应，而且Ot有且仅于当前时刻隐状态St有关，St外化表现为Ot的概率称为输出概率，因此隐马尔科夫模型的结构图如下所示。

因此,隐马尔科夫模型中马尔科夫链指的是隐状态S0,S1,...,St序列。

HMM模型可以用五元组(O,S,A,B,π)表示。其中

根据以上HMM模型五元组表示，我们可以归纳出HMM模型解决的三个经典的问题。 

如何用简单易懂的例子解释隐马尔可夫模型？ https://www.zhihu.com/question/20962240

HMM（隐马尔可夫模型）

参考技术A 【数之道 29】"隐马尔可夫模型"HMM是什么？了解它只需5分钟！_哔哩哔哩_bilibili
这个视频讲的通俗易懂

假设我手里有三个不同的骰子：

第一个骰子是我们平常见的骰子（称这个骰子为D6），6个面，每个面（1，2，3，4，5，6）出现的概率是1/6。

第二个骰子是个四面体（称这个骰子为D4），每个面（1，2，3，4）出现的概率是1/4。

第三个骰子有八个面（称这个骰子为D8），每个面（1，2，3，4，5，6，7，8）出现的概率是1/8。

假设我们开始掷骰子，我们先从三个骰子里挑一个，挑到每一个骰子的概率都是1/3。

然后我们掷骰子，得到一个数字，1，2，3，4，5，6，7，8中的一个。

不停的重复上述过程，我们会得到一串数字，每个数字都是1，2，3，4，5，6，7，8中的一个。

例如我们可能得到这么一串数字（掷骰子10次）：

1 6 3 5 2 7 3 5 2 4

这串数字叫做可见状态链。

但是在隐马尔可夫模型中，我们不仅仅有这么一串可见状态链，还有一串隐含状态链。在这个例子里，这串隐含状态链就是你用的骰子的序列。

比如，隐含状态链有可能是：

D6 D8 D8 D6 D4 D8 D6 D6 D4 D8

一般来说，HMM中说到的马尔可夫链其实是指隐含状态链。

隐含状态（骰子）之间存在转换概率（transition probability），在我们这个例子里：

D6的下一个状态是D4，D6，D8的概率都是1/3。

D4的下一个状态是D4，D6，D8的概率都是1/3。

D8的下一个状态是D4，D6，D8的转换概率也都一样是1/3。

我们其实是可以随意设定转换概率。比如，我们可以这样定义，D6后面不能接D4，D6后面是D6的概率是0.9，是D8的概率是0.1。这样就是一个新的HMM。

同样的，尽管可见状态之间没有转换概率，但是隐含状态和可见状态之间有一个概率叫做输出概率（emission probability）。就我们的例子来说：

四面骰（D4）产生1，2，3，4的概率都是1/4。

六面骰（D6）产生1，2，3，4，5，6的概率都是1/6。

八面骰（D8）产生1，2，3，4，5，6，7，8的概率都是1/8。

我们同样可以对输出概率进行其他定义。比如，我有一个被赌场动过手脚的六面骰子，掷出来是1的概率更大，是1/2，掷出来是2，3，4，5，6的概率是1/10。

对于HMM来说，如果提前知道所有隐含状态之间的转换概率、所有隐含状态的序列和所有隐含状态到所有可见状态之间的输出概率，做模拟是相当容易的。

但是应用HMM模型时候呢，往往是缺失了一部分信息的：

有时候你知道骰子有几种，每种骰子是什么，但是不知道掷出来的骰子序列；

有时候你只是看到了很多次掷骰子的结果，剩下的什么都不知道。

如果应用算法去估计这些缺失的信息，就成了一个很重要的问题。

和HMM模型相关的算法主要分为三类，分别解决三种问题：

知道骰子有几种（隐含状态数量），每种骰子是什么（输出概率），根据掷骰子掷出的结果（可见状态链），我想知道每次掷出来的都是哪种骰子（隐含状态链）。

知道骰子有几种（隐含状态数量），每种骰子是什么（转换概率），根据掷骰子掷出的结果（可见状态链），我想知道掷出这个结果的概率。

知道骰子有几种（隐含状态数量），不知道每种骰子是什么（转换概率），观测到很多次掷骰子的结果（可见状态链），我想反推出每种骰子是什么（转换概率）。

考虑到这里我们并不是真的要学会HMM背后的数学算法，所以这里我用一个最简单问题来和大家一起思考这个过程：

知道骰子有几种，每种骰子是什么，每次掷的都是什么骰子，根据掷骰子掷出的结果，求产生这个结果的概率。

解法无非就是概率相乘：

问题：知道有三个骰子，六面骰，四面骰，八面骰。也知道我掷了十次的结果（1 6 3 5 2 7 3 5 2 4），但是不知道每次用了那种骰子，想知道最有可能的骰子序列。

其实最简单而暴力的方法就是穷举所有可能的骰子序列，然后依照第零个问题的解法把每个序列对应的概率算出来。然后我们从里面把对应最大概率的序列挑出来就行了。

如果马尔可夫链不长，当然可行。如果长的话，穷举的数量太大，就很难完成了。

另外一种很有名的算法叫做 Viterbi algorithm。要理解这个算法，我们先看几个简单的列子。

如果我们只掷一次骰子：

看到结果为1。对应的最大概率骰子序列就是D4，因为D4产生1的概率是1/4，高于1/6和1/8。

把这个情况拓展，我们掷两次骰子：

结果为1，6。这时问题变得复杂起来，我们要计算三个值，分别是第二个骰子是D6，D4，D8的最大概率。

显然，要取到最大概率，第一个骰子必须为D4。这时，第二个骰子取到D6的最大概率是：

同样的，我们可以计算第二个骰子是D4或D8时的最大概率。

我们发现，第二个骰子取到D6的概率最大。而使这个概率最大时，第一个骰子为D4。

所以最大概率骰子序列就是D4 D6。

继续拓展，我们掷三次骰子：

同样，我们计算第三个骰子分别是D6，D4，D8的最大概率。我们再次发现，要取到最大概率，第二个骰子必须为D6。这时，第三个骰子取到D4的最大概率是：

我们发现，第三个骰子取到D4的概率最大。

而使这个概率最大时，第二个骰子为D6，第一个骰子为D4。

所以最大概率骰子序列就是D4 D6 D4。

比如说你怀疑自己的六面骰被赌场动过手脚了，有可能被换成另一种六面骰，这种六面骰掷出来是1的概率更大，是1/2，掷出来是2，3，4，5，6的概率是1/10。你怎么办么？

答案很简单，算一算正常的三个骰子掷出一段序列的概率，再算一算不正常的六面骰和另外两个正常骰子掷出这段序列的概率。如果前者比后者小，你就要小心了。

比如说掷骰子的结果是：

要算用正常的三个骰子掷出这个结果的概率，其实就是将所有可能情况的概率进行加和计算。

同样，简单而暴力的方法就是把穷举所有的骰子序列，还是计算每个骰子序列对应的概率，但是这回，我们不挑最大值了，而是把所有算出来的概率相加，得到的总概率就是我们要求的结果。这个方法依然不能应用于太长的骰子序列（马尔可夫链）。

我们会应用一个和前一个问题类似的解法，只不过前一个问题关心的是概率最大值，这个问题关心的是概率之和。解决这个问题的算法叫做前向算法（forward algorithm）。

首先，如果我们只掷一次骰子：

看到结果为1。产生这个结果的总概率可以按照如下计算，总概率为0.18（13/72）：

把这个情况拓展，我们掷两次骰子：

看到结果为1，6，3.产生这个结果的总概率可以按照如下计算，总概率为0.003（1183/373248）：

举一个经典的例子：一个东京的女孩每天根据天气 下雨，天晴 决定当天的活动 公园散步,购物,清理房间 中的一种。

我们每天只能在twitter上看到她发的推特：“啊，我前天公园散步、昨天购物、今天清理房间了！”。

那么我可以根据她发的推特推断东京这三天的天气。

在这个例子里，显状态是活动，隐状态是天气。

任何一个HMM都可以通过下列五元组来描述：

这里设定下相关规则：

如果下雨，则公园散步概率=0.1，购物概率=0.4，清理房间概率=0.5

如果天晴，则公园散步概率=0.6，购物概率=0.3，清理房间概率=0.1

如果当天天晴，则第二天天晴的概率=0.6，第二天下雨的概率=0.4

如果当天下雨，则第二天天晴的概率=0.3，第二天下雨的概率=0.7

第一天天晴的概率为0.4，第一天下雨的概率为0.6

她发的推特：“啊，我前天公园散步、昨天购物、今天清理房间了！”

稍微讲讲思路：

定义V[时间][今天天气] = 概率，注意今天天气指的是，前几天的天气都确定下来了（概率最大）今天天气是X的概率，这里的概率就是一个累乘的概率了。

因为第一天我的朋友去散步了，所以：

第一天下雨的概率V[第一天][下雨] = 0.6 * 0.1 = 0.06

第一天天晴的概率V[第一天][天晴] = 0.4 * 0.6 = 0.24。

从直觉上来看，因为第一天朋友出门了，她一般喜欢在天晴的时候散步，所以第一天天晴的概率比较大，数字与直觉统一了。

从第二天开始，对于每种天气Y，都有前一天天气是X的概率 * X转移到Y的概率 * Y天气下朋友进行这天这种活动的概率。因为前一天天气X有两种可能，所以Y的概率有两个，选取其中较大一个作为V[第二天][天气Y]的概率，同时将今天的天气加入到结果序列中。

比较V[最后一天][下雨]和[最后一天][天晴]的概率，找出较大的哪一个对应的序列，就是最终结果。

运行完成后根据Viterbi得到结果：