EM算法

Posted xxdk

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了EM算法相关的知识,希望对你有一定的参考价值。

一、引子

  一种迭代算法,1977年由Dempster等人提出,用于含有隐变量的概率模型参数的极大似然估计,或极大后验概率估计。每次迭代由两部分构成,E步求期望,M步求极大,称为期望极大算法。

  概率模型有时既含有观测变量,又含有隐变量。如果概率模型的变量都是观测变量,那么给定数据,可以直接用极大似然估计法,或贝叶斯估计法估计模型参数,但当模型含有隐变量时,不能简单使用这些估计方法。EM算法就是含有隐变量的概率模型参数的极大似然估计法或极大后验概率估计法。

二、算法

  问题:输入观测变量数据Y,隐变量数据Z,联合分布P(Y,Z|θ),条件分布P(Z|Y,θ),输出参数模型θ。

  求解:

  技术图片=

   推导:EM算法实际上是通过迭代逐步近似极大化L(θ)=logP(Y|θ),经过推导可以得到

  技术图片

  技术图片

  上式相当于EM算法的一次迭代,求Q函数及其最大化。EM算法通过不断求解下界的最大化逼近求解对数似然函数的最大化。但实际上EM算法是使B和Q函数极大化,从而使L(θ)增加,但不能保证找到全局最优值。

以上是关于EM算法的主要内容,如果未能解决你的问题,请参考以下文章

EM算法详解

期望最大化算法(Expectation-Maximum,简称EM)算法+EM算法+EM的应用

机器学习EM算法

机器学习EM算法

EM算法有啥用?

EM算法:GMM训练算法