ML—朴素贝叶斯

Posted gccbuaa

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了ML—朴素贝叶斯相关的知识,希望对你有一定的参考价值。

华电北风吹
日期:2015/12/12

朴素贝叶斯算法和高斯判别分析一样同属于生成模型。但朴素贝叶斯算法须要特征条件独立性如果,即样本各个特征之间相互独立。

一、朴素贝叶斯模型
朴素贝叶斯算法通过训练数据集学习联合概率分布p(x,y),x=(x1,x2,...,xn)Rn,yR。详细的对于K分类问题就是须要学习一个类别的先验概率分布p(y=ck),k=1,2,...,K和每一个类别下的条件概率分布(如式1-1)
p(x|y)=p(x1,x2,...,xn|y)(1-1)
因为朴素贝叶斯算法没有如果特征的分布,因此须要将每一个特征量化为离散型变量,然后学习各个特征水平下的条件概率。

如果各个特征xi被分别量化为Si个水平,那么共同拥有K+Kni=1Si个须要学习的參数。
可是,为了使朴素贝叶斯算法变得简单点—主要是降低參数个数,就强加了一个条件概率分布的独立性如果(详细如式1-2)
p(x|y)=p(x1,x2,...,xn|y)=ni=1P(xi|y)(1-2)
这样须要学习的參数个数就变为K+Kni=1Si个,大大的简化了模型。

二、朴素贝叶斯參数预计
在条件独立性如果下,贝叶斯模型的參数学习就简化为类别先验概率p(y=ck)和条件概率p(xi|y)的学习。

1、极大似然预计
对于训练数据集(x(i),y(i)),x(i)Rn,y(i)R,似然函数例如以下,
L(?y,?x|y)=mi=1p(x(i),y(i))=mi=1p(y(i))nj=1p(x(i)j|y(i))(2-1)
结合y?y=1以及Sip(xi|y)=1,能够easy得到下式(简单的求偏导就可以,两式均是):
?y=k=mi=11{y(i)=k}m(2-2)
?xi=j|y=k=mi=11{y(i)=k?xi=j}mi=11{y(i)=k}(2-3)

2、古德-图灵预计
主要用于解决统计样本不足的概率预计问题,主要思想是在统计中相信可靠的统计数据,而对不可信的统计数据打折扣的一种概率预计方法。同一时候将折扣出来的那一小部分概率给予为看见的事件。

3、贝叶斯预计(拉普拉斯光滑)
在公式2-2和2-3中。会出现分子分母同为0的情况。解决这样的情况的方案例如以下:
?y=k=mi=11{y(i)=k}+λm+Kλ(2-4)
?xi=j|y=k=mi=11{y(i)=k?xi=j}+λmi=11{y(i)=k}+Sjλ(2-5)
当中λ0.一般取λ=1

三、朴素贝叶斯决策方法—最大后验概率
对于測试数据xRn,朴素贝叶斯模型採用贝叶斯规则决策。详细表述例如以下:
p(y|x)=argmaxkp(y=k)p(x|y=k)
採用后验概率最大的类别作为模型输出类别。

如今细致想想感觉朴素贝叶斯跟k-means逻辑上的思路还是比較接近的。

以上是关于ML—朴素贝叶斯的主要内容,如果未能解决你的问题,请参考以下文章

SPARK ML,朴素贝叶斯分类器:一类的高概率预测

spark ml 2.0 - 朴素贝叶斯 - 如何确定每个类的阈值

机器学习套路:朴素贝叶斯

MATLAB:具有单变量高斯的朴素贝叶斯

NLP系列_朴素贝叶斯实战与进阶

朴素贝叶斯:朴素贝叶斯定义朴素贝叶斯公式分解朴素贝叶斯分类流程高斯型朴素贝叶斯多项式朴素贝叶斯伯努利型朴素贝叶斯朴素贝叶斯预测概率校准朴素贝叶斯优缺点