机器学习采用 EM 算法求解的模型有哪些,为什么不用牛顿法或梯度下降法?(面试回答)

Posted Better Bench

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了机器学习采用 EM 算法求解的模型有哪些,为什么不用牛顿法或梯度下降法?(面试回答)相关的知识,希望对你有一定的参考价值。

采用 EM 算法求解的模型有哪些,为什么不用牛顿法或梯度下降法?

(1)概念

EM算法称为期望最大化算法,分为两步,求期望和求极大值。

(2)基本思想

首先根据己经给出的观测数据,估计出模型参数的值;然后再依据上一步估计出的参数值估计缺失数据的值,再根据估计出的缺失数据加上之前己经观测到的数据重新再对参数值进行估计,然后反复迭代,直至最后收敛,迭代结束。

EM的求解原理:在求解一个含有隐变量的概率模型时,目标是极大化观测数据关于参数的对数似然,而其中极大化的主要困难是还有未观测数据并有包含和的对数。EM算法就是通过迭代,不断求解下界极大化,而逐步求解对数似然函数极大化。

(3)应用

高斯混合模型(GMM)、k-means聚类、隐式马尔科夫算法(HMM)、LDA主题模型的变分推断

(4)不用牛顿法和梯度下降法的原因

由于求和的项数随着隐变量的数目指数上升,会给梯度计算带来麻烦.EM算法是一种非梯度化优化算法.

以上是关于机器学习采用 EM 算法求解的模型有哪些,为什么不用牛顿法或梯度下降法?(面试回答)的主要内容,如果未能解决你的问题,请参考以下文章

机器学习(二十七)— EM算法

机器学习EM算法

机器学习EM算法

EM算法

机器学习 | EM算法与你所不知道的抛硬币案例

数据挖掘面试笔试