无监督朴素贝叶斯 - 它是如何工作的？

Posted 2023-03-12

【中文标题】无监督朴素贝叶斯 - 它是如何工作的？

【英文标题】：Unsupervised Naive Bayes - how does it work?

【发布时间】：2018-08-31 11:17:06

【问题描述】：

据我了解，为了实现无监督的朴素贝叶斯，我们为每个实例的每个类分配随机概率，然后通过正常的朴素贝叶斯算法运行它。我知道，通过每次迭代，随机估计会变得更好，但我终其一生都无法弄清楚它是如何工作的。

有人想了解一下这件事吗？

【问题讨论】：

您可以分享您所指的特定算法的参考吗？

【参考方案1】：

我见过的无监督学习中朴素贝叶斯的变体基本上是应用高斯混合模型（GMM，也称为期望最大化或EM）来确定数据中的簇。

在此设置中，假设数据可以分类，但类是隐藏的。问题是通过拟合每个类的高斯分布来确定最可能类。朴素贝叶斯假设定义了要使用的特定概率模型，其中属性在给定类的情况下是条件独立的。

来自 Jose A. Gamez 的 "Unsupervised naive Bayes for data clustering with mixtures of truncated exponentials" 论文：

从前面的设置来看，基于概率模型的聚类是 建模为模型的混合（参见例如 (Duda et al., 2001)），其中 隐藏类变量的状态对应于组件 的混合物（簇的数量）和多项式 分布用于对离散变量建模，而高斯分布 分布用于对数值变量进行建模。这样我们移动 从未标记的数据中学习的问题，通常是 EM 算法（Dempster et al., 1977）用于进行学习 图形结构固定且结构 EM 时的任务 (Friedman, 1998) 当图形结构也必须 发现（Pena 等人，2000 年）。在本文中，我们重点关注 具有固定结构的最简单模型，即所谓的朴素贝叶斯 结构（图 1），其中类是唯一的根变量，所有 给定类，属性是条件独立的。

另请参阅 CV.SE 上的 this discussion。