朴素贝叶斯

Posted yanshw

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了朴素贝叶斯相关的知识,希望对你有一定的参考价值。

朴素贝叶斯是一个概率模型,在数学上能用概率解释的模型一般被认为是好模型。

朴素贝叶斯常用于文本分类。

 

先介绍几个基础概念。

1. 概率

设x为符合某种特征的样本,H为某个假设,比如假设x属于类别c,那分类就是求这个假设发生的概率,即P(H|x)的大小。

P(H|X)是后验概率,或者说在条件X下,H的后验概率,就是在已知样本符合某种特征时,H发生的概率

P(H)是先验概率,或者说H的先验概率,就是所有样本中H发生的概率

P(X|H),P(X)同理

 

2. 条件概率

P(A|B)=P(AB)/P(B)

P(B|A)=P(AB)/P(A)

P(A|B)=P(B|A)P(A)/P(B)

 

经典案例

我们想计算含有单词drugs的邮件为垃圾邮件的概率

A为“这是封垃圾邮件”。P(A)也被称为先验信念(prior belief)。

计算方法是,统计训练集中垃圾邮件的比例。
如果我们的数据集每100封邮件有30封垃圾邮件,P(A)为30/100或0.3。

B表示“该封邮件含有单词drugs”。P(B)也被称为先验信念(prior belief)。

类似地,我们可以通过计算数据集中含有单词drugs的邮件数量得到P(B)。
如果每100封邮件中有10封邮件包含单词drugs,那么P(B)就为10/100或0.1。

P(B|A)指的是垃圾邮件中含有单词drugs的概率,计算起来也很容易,统计训练集中所有垃圾邮件的数量以及其中含有单词drugs的数量。
30封垃圾邮件中,如果有6封含有单词drugs,那么P(B|A)就为6/30或0.2。

现在,我们根据贝叶斯定理就能计算出P(A|B),得到含有drugs的邮件为垃圾邮件的概率。
把上面求出来的各项代入前面的贝叶斯公式,得到结果0.6。
这表明如果邮件中含有drugs这个词,那么该邮件为垃圾邮件的概率为60% 。

 

算法原理

1. 朴素贝叶斯之所以朴素,是其认为样本中属性间相互独立,体现在概率论上就是彼此是独立事件,故 P(AB)=P(A)P(B),所以文本就可以表示为P(X)=P(x1)P(x2)P(x3)...P(xk)

2. P(C|X)=P(X|C)P(C)/P(X)

P(X)表示样本集中含有某特征的样本的比例,是个常数,且对所有样本都一样,故可省略

P(C)其实也是个常数,但是要计算样本属于不同类别时要用不同类别的P(C),故不可省略

3. 计算出每个类别的概率,取概率最大对应的类别即可

 

粘张图吧,懒得写了

技术图片

 

 

示例代码

import numpy as np

def loadDataSet():
    # 样本
    postingList=[[my,dog,has,flea,problem,help,please],
                 [maybe,not,take,him,to,dog,park,stupid],
                 [my,dalmation,is,so,cute,I,love,him],
                 [stop,posting,ate,my,steak,how,to,stop,him],
                 [mr,licks,ate,my,steak,how,to,stop,him],
                 [quit,buying,worthless,dog,food,stupid]]
    classVec=[0,1,0,1,0,1]          # 1表示侮辱性文档,0表示正常文档。
    return postingList,classVec

def createVocabList(dataSet):
    # 词向量集合
    vocabSet=set([])
    for document in dataSet:
        vocabSet=vocabSet|set(document)
    return list(vocabSet)

def setOfWords2Vec(vocabList,inputSet):
    # word2vec  只有0 1
    returnVec=[0]*len(vocabList)               # 每个文档的大小与词典保持一致,此时returnVec是空表
    for word in inputSet:
        if word in vocabList:
            returnVec[vocabList.index(word)]=1 # 当前文档中有某个词条,则根据词典获取其位置并赋值1
        else:print "the word :%s is not in my vocabulary" %word
    return returnVec

def bagOfWords2Vec(vocabList,inputSet):
    # 词袋  出现次数
    returnVec=[0]*len(vocabList)
    for word in inputSet:
        if word in vocabList:
            returnVec[vocabList.index(word)]+=1 # 与词集模型的唯一区别就表现在这里
        else:print "the word :%s is not in my vocabulary" %word
    return returnVec

def trainNB(trainMatrix,trainCategory):
    # 训练模型 trainMatrix---X, trainCategory--->Y
    numTrainDocs=len(trainMatrix)       # 样本数量
    numWords=len(trainMatrix[0])        # 属性集,次向量长度
    pAbusive=sum(trainCategory)/float(numTrainDocs)     # 统计侮辱性文档的总个数,然后除以总文档个数     P(A)
    #p0Num=zeros(numWords);p1Num=zeros(numWords)
    #p0Denom=0.0;p1Denom=0.0
    p0Num=np.ones(numWords)
    p1Num=np.ones(numWords)
    p0Denom=2.0
    p1Denom=2.0
    for i in range(numTrainDocs):
        # 遍历样本
        if trainCategory[i]==1:
            # 标签为1, 用于计算该类别下词的概率,P(X|A)
            p1Num+=trainMatrix[i]           # 把属于同一类的文本向量相加,实质是统计某个词条在该类文本中出现频率
            p1Denom+=sum(trainMatrix[i])    # 把侮辱性文档向量的所有元素加起来
        else:
            # 标签为0, 用于计算该类别下词的概率,P(X|B)
            p0Num+=trainMatrix[i]
            p0Denom+=sum(trainMatrix[i])
    # p1Vec=p1Num/float(p1Denom)
    # p0Vec=p0Num/float(p0Denom)
    p1Vec=np.log(p1Num/p1Denom) # 统计词典中所有词条在侮辱性文档中出现的概率
    p0Vec=np.log(p0Num/p0Denom) # 统计词典中所有词条在正常文档中出现的概率
    return pAbusive,p1Vec,p0Vec

### 注意:被注释掉的代码代表不太好的初始化方式,在那种情况下某些词条的概率值可能会非常非常小,甚至约
### 等于0,那么在不同词条的概率在相乘时结果就近似于0

def classifyNB(vec2classify,p0Vec,p1Vec,pClass1):
    # 预测
    # 参数1是测试文档向量,参数2和参数3是词条在各个类别中出现的概率,参数4是P(C1)
    p1=sum(vec2classify*p1Vec)+np.log(pClass1)      # 这里没有直接计算P(x,y|C1)P(C1),而是取其对数这样做也是防止概率之积太小,以至于为0
    p0=sum(vec2classify*p0Vec)+np.log(1.0-pClass1)  # 取对数后虽然P(C1|x,y)和P(C0|x,y)的值变了,但是不影响它们的大小关系。
    if p1>p0:
        return 1
    else:
        return 0


if __name__ == __main__:
    postingList,classVec = loadDataSet()
    vocab = createVocabList(postingList)
    setvec = [setOfWords2Vec(vocab, i) for i in postingList]
    bagvec = [bagOfWords2Vec(vocab, i) for i in postingList]

    pAbusive,p1Vec,p0Vec = trainNB(bagvec, classVec)

    for i in setvec:
        print classifyNB(i,p0Vec,p1Vec,pAbusive)

只是个示例,拿训练样本测试的。

 

注意在预测时,计算概率用了加法,本身应该是乘法的,但是因为取了log,乘法变加法,注意在计算P(xk)时直接取了log,所以在预测时直接sum了。

log 避免了因概率因子远小于1而连乘造成的下溢出。

 

还有一种避免0概率的方法叫拉普拉斯平滑,其实很简单,就是在每个类别的样本数上+1,那么样本最少是1,所以不会是0概率,注意每个类别加1,总样本要加类别数。

 

总结 

朴素贝叶斯对小规模数据集表现很好,适合多分类,但是如果属性间相关性较强,表现不好。

 

 

参考资料:

https://blog.csdn.net/amds123/article/details/70173402

https://blog.csdn.net/li8zi8fa/article/details/76176597

以上是关于朴素贝叶斯的主要内容,如果未能解决你的问题,请参考以下文章

干货 | 朴素贝叶斯python代码实现

机器学习:贝叶斯分类器——高斯朴素贝叶斯分类器代码实现

朴素贝叶斯分类算法介绍及python代码实现案例

朴素贝叶斯并不朴素

利用朴素贝叶斯算法进行分类-Java代码实现

朴素贝叶斯代码实现python