HMM经典介绍论文Rabiner 1989翻译（十六）——放大

Posted 2022-12-13 Vic时代

5 HMM的实现问题

前面两节的讨论主要是关于HMM的理论以及模型的变体。这一节我们会讨论HMM的实现问题，包括放大、多观测序列、初始参数估计、数据丢失、模型大小以及类型的选择。对其中一些实现问题，我们可得到精确解析解；而对于其他问题，我们只能给出一些经验建议。

5.1 放大

为了理解在HMM参数估计过程中为什么需要放大，考虑(18)中定义的$\\alpha_t(i)$。可以看到$\\alpha_t(i)$包含很多项的和，每一项的形式为

$$\\left( \\prod_s=1^t-1 a_q_s q_s+1 \\prod_s=1^t b_q_s(\\boldsymbol O_s) \\right ),$$

其中$q_t =S_i$。由于每个$a$和$b$项是小于1的（一般是远小于1的），所以当$t$变得比较大时（比如10或者更多），$\\alpha_t(i)$的每一项开始趋向于0。对非常大的$t$（100或者更多），$\\alpha_t(i)$计算的动态范围会超出机器的精度范围（甚至是双精度）。所以，唯一有效的计算方式是结合一个放大过程。

基本的放大步骤是把$\\alpha_t(i)$乘以一个放大系数并且这个放大系数是独立于$i$的（即只依赖于t），使得放大后的$\\alpha_t(i)$（$1\\leq t \\leq T$）位于计算机的动态范围中。对$\\beta_t(i)$也要进行一个相似的放大步骤，在计算的最后，需要消掉放大系数。

为了更好地理解放大过程，考虑状态转移系数$a_ij$的估计公式。如果我们把估计公式(41)直接写成前向变量和后项变量的形式。可以得到

$$\\bar a_ij = \\frac \\sum_t=1^T-1 \\alpha_t(i)a_ijb_j(O_t+1)\\beta_t+1(j) \\sum_t=1^T \\sum_j=1^N \\alpha_t(i)a_ijb_j(O_t+1) \\beta_t+1(j) . \\tag90$$

（原文中的符号表示有些混乱，下面做了些修改。）

首先令$\\bar \\alpha_1(i) = \\alpha_1(i)$。

对每个$t$，我们首先根据递推公式(20)计算$\\bar \\alpha_t(i)$，然后乘以一个放大系数$c_t$：

ct=1HMM经典介绍论文Rabiner 1989翻译——连续观测密度

HMM经典介绍论文Rabiner 1989翻译（十七）——多观测序列

HMM经典介绍论文Rabiner 1989翻译（十八）——参数初始化

论文推荐最新十篇机器翻译相关论文—自然语言推理无监督神经机器翻译多任务学习局部卷积图卷积多语种机器翻译

报童钱包和迪米特法则(设计模式迪米特原则经典论文翻译)

深度学习经典论文翻译合集Deep Learning Papers Translation(CV)