EM算法的基本原理和推导

Posted 2020-12-30 vincentbnu

参考： 

从最大似然到EM算法浅解

（EM算法）The EM Algorithm

EM算法的九层境界：Hinton和Jordan理解的EM算法

 

在EM算法的证明中，其实比较好理解，总结如下：

从最大似然估计出发 ====>  将隐变量暴露出来，写出累加/积分的 形式　===> 引入Q(z),表示隐变量z的概率密度函数

==> 对于log函数，利用 Jensen不等式的变形：  f(E(x)  >= E(f(x))，得到最大似然函数的下界 

===> 对于log函数的Jenson不等式而言，只有当 X的变量取常量时，则可以不等式才能取到等号;

则得到等式；

以上的过程如下：

具体的计算过程如下：

固定好了Q(z),再去调整参数 Θ ，使得下界最大，如下图所示：

收敛性的证明：见参考一或吴恩达的课程

--------------------

--------------------