机器学习采用 EM 算法求解的模型有哪些，为什么不用牛顿法或梯度下降法？(面试回答)

Posted 2022-08-18 Better Bench

采用 EM 算法求解的模型有哪些，为什么不用牛顿法或梯度下降法？

（1）概念

EM算法称为期望最大化算法，分为两步，求期望和求极大值。

（2）基本思想

首先根据己经给出的观测数据，估计出模型参数的值；然后再依据上一步估计出的参数值估计缺失数据的值，再根据估计出的缺失数据加上之前己经观测到的数据重新再对参数值进行估计，然后反复迭代，直至最后收敛，迭代结束。

EM的求解原理：在求解一个含有隐变量的概率模型时,目标是极大化观测数据关于参数的对数似然,而其中极大化的主要困难是还有未观测数据并有包含和的对数。EM算法就是通过迭代,不断求解下界极大化，而逐步求解对数似然函数极大化。

（3）应用

高斯混合模型（GMM）、k-means聚类、隐式马尔科夫算法（HMM）、LDA主题模型的变分推断

（4）不用牛顿法和梯度下降法的原因

由于求和的项数随着隐变量的数目指数上升,会给梯度计算带来麻烦.EM算法是一种非梯度化优化算法.