机器学习知识点查漏补缺（朴素贝叶斯分类）

Posted 2020-10-30 hugh-tan

 

一、基本模型

 朴素贝叶斯分类模型的基本思想就是贝叶斯公式，对以特征为条件的各类别的后验概率。

贝叶斯公式如下：

对标朴素贝叶斯分类模型的公式如下：

分子中的第二项为每个类别的概率（实际运算即频率），如下：

第一项为每个类别内部（即以类别为条件）特征的联合概率，如下：

但随着特征的每个维度取值增加，模型参数也会指数级增加。所以朴素贝叶斯的朴素也就在这儿体现，朴素的（简单的）假设以上每个特征维度都是条件独立的，而让其联合概率可化简为每个特征的条件概率积，如下：

朴素贝叶斯分类模型也即是最大化后验概率的类别

而分母对每个类别都是相同的

 

二、优化目标函数

朴素贝叶斯的参数也即是各类别的先验概率及各类别为条件的特征条件概率，其极大似然估计分别为：

 

为防止条件概率估计值为0的情况，会在其估计过程中加入拉普拉斯平滑处理

常取delta为1.