线性分类之朴素贝叶斯分类器

Posted 2021-04-02 行走的量化机器

朴素贝叶斯（Naive Bayes）是一种典型的概率生成模型，也是一种最简单的概率图模型，在机器学习中用于样本分类。它的关键点在于贝叶斯定理和朴素的思想（条件独立性假设）。

朴素贝叶斯法

❝

现有N个样本 ，其中 为 维列向量， 。给定一个样本 ，判断其分类 ?

❞

对于样本 来说，根据条件独立性假设 ，得知：

由贝叶斯公式得知：

将 的公式带入上式，求得：

样本分类

首先根据 的分布对先验概率 进行极大似然估计，在此选择以下公式进行估计：

然后根据 的分布对条件概率 进行极大似然估计，在此选择以下公式进行估计：

最后基于 ，分别选择 按照下式进行计算：

选择令上式值最大的 确定为样本 的类别：