朴素贝叶斯
Posted yanshw
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了朴素贝叶斯相关的知识,希望对你有一定的参考价值。
朴素贝叶斯是一个概率模型,在数学上能用概率解释的模型一般被认为是好模型。
朴素贝叶斯常用于文本分类。
先介绍几个基础概念。
1. 概率
设x为符合某种特征的样本,H为某个假设,比如假设x属于类别c,那分类就是求这个假设发生的概率,即P(H|x)的大小。
P(H|X)是后验概率,或者说在条件X下,H的后验概率,就是在已知样本符合某种特征时,H发生的概率
P(H)是先验概率,或者说H的先验概率,就是所有样本中H发生的概率
P(X|H),P(X)同理
2. 条件概率
P(A|B)=P(AB)/P(B)
P(B|A)=P(AB)/P(A)
P(A|B)=P(B|A)P(A)/P(B)
经典案例
我们想计算含有单词drugs的邮件为垃圾邮件的概率
A为“这是封垃圾邮件”。P(A)也被称为先验信念(prior belief)。
计算方法是,统计训练集中垃圾邮件的比例。
如果我们的数据集每100封邮件有30封垃圾邮件,P(A)为30/100或0.3。
B表示“该封邮件含有单词drugs”。P(B)也被称为先验信念(prior belief)。
类似地,我们可以通过计算数据集中含有单词drugs的邮件数量得到P(B)。
如果每100封邮件中有10封邮件包含单词drugs,那么P(B)就为10/100或0.1。
P(B|A)指的是垃圾邮件中含有单词drugs的概率,计算起来也很容易,统计训练集中所有垃圾邮件的数量以及其中含有单词drugs的数量。
30封垃圾邮件中,如果有6封含有单词drugs,那么P(B|A)就为6/30或0.2。
现在,我们根据贝叶斯定理就能计算出P(A|B),得到含有drugs的邮件为垃圾邮件的概率。
把上面求出来的各项代入前面的贝叶斯公式,得到结果0.6。
这表明如果邮件中含有drugs这个词,那么该邮件为垃圾邮件的概率为60% 。
算法原理
1. 朴素贝叶斯之所以朴素,是其认为样本中属性间相互独立,体现在概率论上就是彼此是独立事件,故 P(AB)=P(A)P(B),所以文本就可以表示为P(X)=P(x1)P(x2)P(x3)...P(xk)
2. P(C|X)=P(X|C)P(C)/P(X)
P(X)表示样本集中含有某特征的样本的比例,是个常数,且对所有样本都一样,故可省略
P(C)其实也是个常数,但是要计算样本属于不同类别时要用不同类别的P(C),故不可省略
3. 计算出每个类别的概率,取概率最大对应的类别即可
粘张图吧,懒得写了
示例代码
import numpy as np def loadDataSet(): # 样本 postingList=[[‘my‘,‘dog‘,‘has‘,‘flea‘,‘problem‘,‘help‘,‘please‘], [‘maybe‘,‘not‘,‘take‘,‘him‘,‘to‘,‘dog‘,‘park‘,‘stupid‘], [‘my‘,‘dalmation‘,‘is‘,‘so‘,‘cute‘,‘I‘,‘love‘,‘him‘], [‘stop‘,‘posting‘,‘ate‘,‘my‘,‘steak‘,‘how‘,‘to‘,‘stop‘,‘him‘], [‘mr‘,‘licks‘,‘ate‘,‘my‘,‘steak‘,‘how‘,‘to‘,‘stop‘,‘him‘], [‘quit‘,‘buying‘,‘worthless‘,‘dog‘,‘food‘,‘stupid‘]] classVec=[0,1,0,1,0,1] # 1表示侮辱性文档,0表示正常文档。 return postingList,classVec def createVocabList(dataSet): # 词向量集合 vocabSet=set([]) for document in dataSet: vocabSet=vocabSet|set(document) return list(vocabSet) def setOfWords2Vec(vocabList,inputSet): # word2vec 只有0 1 returnVec=[0]*len(vocabList) # 每个文档的大小与词典保持一致,此时returnVec是空表 for word in inputSet: if word in vocabList: returnVec[vocabList.index(word)]=1 # 当前文档中有某个词条,则根据词典获取其位置并赋值1 else:print "the word :%s is not in my vocabulary" %word return returnVec def bagOfWords2Vec(vocabList,inputSet): # 词袋 出现次数 returnVec=[0]*len(vocabList) for word in inputSet: if word in vocabList: returnVec[vocabList.index(word)]+=1 # 与词集模型的唯一区别就表现在这里 else:print "the word :%s is not in my vocabulary" %word return returnVec def trainNB(trainMatrix,trainCategory): # 训练模型 trainMatrix---X, trainCategory--->Y numTrainDocs=len(trainMatrix) # 样本数量 numWords=len(trainMatrix[0]) # 属性集,次向量长度 pAbusive=sum(trainCategory)/float(numTrainDocs) # 统计侮辱性文档的总个数,然后除以总文档个数 P(A) #p0Num=zeros(numWords);p1Num=zeros(numWords) #p0Denom=0.0;p1Denom=0.0 p0Num=np.ones(numWords) p1Num=np.ones(numWords) p0Denom=2.0 p1Denom=2.0 for i in range(numTrainDocs): # 遍历样本 if trainCategory[i]==1: # 标签为1, 用于计算该类别下词的概率,P(X|A) p1Num+=trainMatrix[i] # 把属于同一类的文本向量相加,实质是统计某个词条在该类文本中出现频率 p1Denom+=sum(trainMatrix[i]) # 把侮辱性文档向量的所有元素加起来 else: # 标签为0, 用于计算该类别下词的概率,P(X|B) p0Num+=trainMatrix[i] p0Denom+=sum(trainMatrix[i]) # p1Vec=p1Num/float(p1Denom) # p0Vec=p0Num/float(p0Denom) p1Vec=np.log(p1Num/p1Denom) # 统计词典中所有词条在侮辱性文档中出现的概率 p0Vec=np.log(p0Num/p0Denom) # 统计词典中所有词条在正常文档中出现的概率 return pAbusive,p1Vec,p0Vec ### 注意:被注释掉的代码代表不太好的初始化方式,在那种情况下某些词条的概率值可能会非常非常小,甚至约 ### 等于0,那么在不同词条的概率在相乘时结果就近似于0 def classifyNB(vec2classify,p0Vec,p1Vec,pClass1): # 预测 # 参数1是测试文档向量,参数2和参数3是词条在各个类别中出现的概率,参数4是P(C1) p1=sum(vec2classify*p1Vec)+np.log(pClass1) # 这里没有直接计算P(x,y|C1)P(C1),而是取其对数这样做也是防止概率之积太小,以至于为0 p0=sum(vec2classify*p0Vec)+np.log(1.0-pClass1) # 取对数后虽然P(C1|x,y)和P(C0|x,y)的值变了,但是不影响它们的大小关系。 if p1>p0: return 1 else: return 0 if __name__ == ‘__main__‘: postingList,classVec = loadDataSet() vocab = createVocabList(postingList) setvec = [setOfWords2Vec(vocab, i) for i in postingList] bagvec = [bagOfWords2Vec(vocab, i) for i in postingList] pAbusive,p1Vec,p0Vec = trainNB(bagvec, classVec) for i in setvec: print classifyNB(i,p0Vec,p1Vec,pAbusive)
只是个示例,拿训练样本测试的。
注意在预测时,计算概率用了加法,本身应该是乘法的,但是因为取了log,乘法变加法,注意在计算P(xk)时直接取了log,所以在预测时直接sum了。
log 避免了因概率因子远小于1而连乘造成的下溢出。
还有一种避免0概率的方法叫拉普拉斯平滑,其实很简单,就是在每个类别的样本数上+1,那么样本最少是1,所以不会是0概率,注意每个类别加1,总样本要加类别数。
总结
朴素贝叶斯对小规模数据集表现很好,适合多分类,但是如果属性间相关性较强,表现不好。
参考资料:
https://blog.csdn.net/amds123/article/details/70173402
https://blog.csdn.net/li8zi8fa/article/details/76176597
以上是关于朴素贝叶斯的主要内容,如果未能解决你的问题,请参考以下文章