在 EM 实现中处理空组件以进行 GMM 学习

Posted 2023-03-12

【中文标题】在 EM 实现中处理空组件以进行 GMM 学习

【英文标题】：Handling empty components in EM implementation for GMM learning

【发布时间】：2015-01-28 01:11:05

【问题描述】：

我正在尝试在 MATLAB 中使用 EM 从头开始​​学习高斯混合模型。该项目需要对标准 GMM 模型进行一些后期修改，这就是为什么我不使用现成的实现，例如 VLFeat 或 Stats Toolbox。推出实施将是一种学习体验，并且可以在以后轻松定制。

具体来说，为具有球面协方差的 GMM 编码 EM。

处理空集群。当 GMM 的某些组件未分配任何数据时，我无法处理这种情况 - 它们的后验概率质量为零或可忽略不计。当定义了大量的集群时，就会出现这种情况。处理这种情况的标准方法是什么？

直观地说，我会选择具有最高协方差的组件，并将其一半的数据分配给空组件。

我的问题是：在 EM 实现中是否有一种标准且有原则的处理方式（我无法通过 Google 找到）？

【参考方案1】：

不应出现 GMM 中的空组件。

通常，您会进行软分配，因此至少有一小部分对象将保留在每个组件中。这就是为什么您需要 EM 的收敛阈值。