郑捷《机器学习算法原理与编程实践》学习笔记(第二章 中文文本分类—朴素贝叶斯算法)

Posted 金秀

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了郑捷《机器学习算法原理与编程实践》学习笔记(第二章 中文文本分类—朴素贝叶斯算法)相关的知识,希望对你有一定的参考价值。

(上接第二章)

  2.3 分类算法:朴素贝叶斯

  2.3.1 贝叶斯公式推导(略)

  分类的流程:  

  第一阶段:训练数据生成训练样本集:TF-IDF

  第二阶段:对每个类别计算p(yi)。

  第三个阶段:对每个特征属性计算所有划分的条件概率

  第四个阶段:对每个类别计算P(x|yi)P(yi)。

  第五个阶段:以P(x|yi)P(yi)的最大项作为x的所属类别。

  2.3.2  朴素贝叶斯算法实现

  创建Nbayes_lib.py的文件,这个文件用来导入数据和朴素贝叶斯类的代码。

  使用简单的英文语料作为数据集:

  

def loadDataSet():
    postingList =[[my,dog,has,flea,problem,help,please],
                  [maybe,not,take,him,to,dog,park,stupid],
                  [my,dalmation,is,so,cute,I,love,him,my],
                  [stop,posting,stupid,worthless,garbage],
                  [mr,licks,ate,my,steak,how,to,stop,him],
                  [quit,buying,worthless,dog,food,stupid]]
    classVec = [0,1,0,1,0,1] #1 is abusive,0 not
    return postingList,classVec

  posstingList 是训练集文本,classVec是每个文本对应的分类:

  (1)编写一个贝叶斯算法类,并创建默认的构造方法:

class NBayes(object):
    def __init__(self):
        self.vocabulary = []        #词典
        self.idf        = 0         #词典的IDF权值向量
        self.tf         = 0         #训练值的权值矩阵
        self.tdm        = 0         #P(x|yi)
        self.Pcates     = {}        #P(yi)是一个类别字典
        self.labels     = []        #对应每个文本的分类,是一个外部导入的列表
        self.doclength  = 0         #训练集文本数
        self.vocablen   = 0         #词典词长
        self.testset    = 0         #测试集

  (2)导入和训练数据集,生成算法必需的参数和数据结构

def train_set(self,trainset,classVec):
    self.cate_prob(classVec)       #计算每个分类在数据集中的概率P(yi)
    self.doclength       = len(trainset)
    tempset              = set()
    [tempset.add(word) for doc in trainset for word in doc]  #生成词典
    self.vocabulary      = list(tempset)
    self.vocablen        = len(self.vocabulary)
   self.calc_wordfreq(trainset)
   self.build_tdm() #按分类累计向量空间的每维值P(x|yi)

  (3)cate_prob函数:计算在数据集中每个分类的概率P(yi

def cate_prob(self,classVec):
    self.labels          = classVec
    labeltemps           = set(self.labels)                   #获取全部分类
    for labeltemp in labeltemps:
        #统计列表中重复的分类:  self.labels.count(labeltemp)
        self.Pcates[labeltemp] = float(self.labels.count(labeltemp))/float(len(self.labels))

  (4)calc_wordfreq函数:生成普通的词频向量

  

def calc_wordfreq(self,trainset):
    self.idf             = np.zeros([1,self.vocablen])        #1*词典数
    self.tf              = np.zeros([self.doclength,self.vocablen]) #训练集文件数*词典数
    for indx in xrange(self.doclength):                      #遍历所有的文本
        for word in trainset[indx]:                          #遍历文本中的每个词
            #找到文本的词在字典中的位置+1
            self.tf[indx,self.vocabulary.index(word)] += 1
        for signleword in set(trainset[indx]):               #idf词数
            self.idf[0,self.vocabulary.index(signleword)] += 1

  (5)Build_tdm函数:按分类累计计算向量空间的每维值P(x|yi

    def build_tdm(self):
        self.tdm = np.zeros([len(self.Pcates),self.vocablen])     #类别行*词典列
        sumlist  = np.zeros([len(self.Pcates),1])                #统计每个分类的总值
        for indx in xrange(self.doclength):
            #将同一类别的词向量空间值加总
            self.tdm[self.labels[indx]] += self.tf[indx]
            #统计每个分类的总值--是一个标量
            sumlist[self.labels[indx]]    = np.sum(self.tdm[self.labels[indx]])
        self.tdm = self.tdm/sumlist                              #生成P(x|yi)

  (6)map2vocab函数:将测试集映射到当前词典

   # (6)map2vocab函数:将测试集映射到当前词典
    def map2vocab(self,testdata):
        self.testset = np.zeros([1,self.vocablen])
        for word in testdata:
            self.testset[0,self.vocabulary.index(word)] += 1

  (7)predict函数:预测分类结果,输出预测的分类类别

  

 def predict(self,testset):
        if np.shape(testset)[1] != self.vocablen: #如果测试集长度与词典不相等,则退出程序
            print "输入错误"
            exit(0)
        predvalue = 0                             #初始化类别概率
        predclass = ""                            #初始化类别名称
        for tdm_vect,keyclass in zip(self.tdm,self.Pcates):
            #P(x|yi)*P(yi)
            #变量tdm,计算最大分类值
            temp = np.sum(testset*tdm_vect*self.Pcates[keyclass])
            if temp > predvalue:
                predvalue = temp
                predclass = keyclass
        return predclass

  2.3.3 算法的改进

  此算法的改进是为普通的词频向量使用TF-IDF策略,使之有能力修正多种偏差

  calc_tfidf函数:以TF-IDF方式生成向量空间。

  

#生成tf-idf
def calc_tfidf(self,trainset):
    self.idf = no.zeros([1,self.vocablen])
    self.tf  = np.zeros([self.doclength,self.vocablen])
    for indx in xrange(self.doclength):
        for word in trainset[indx]:
            self.tf[indx,self.vocabulary.index(word)] += 1
        #消除不同句长导致的偏差
        self.tf[indx] = self.tf[indx]/float(len(trainset[indx]))
        for signleword in set(trainset[indx]):
            self.idf[0,self.vocabulary.index(signleword)] += 1
    self.idf = np.log(float(self.doclength)/self.idf)
    self.tf  = np.multiply(self.tf,self.idf)    #矩阵与向量的点乘 TF*IDF

  2.3.4 评估分类结果

  

#coding:utf-8
import sys
import os
from numpy import *
import numpy as np
from Nbayes_lib import *
#评估分类结果

dataSet,listClasses = loadDataSet() #导入外部数据集
#dataSet:句子的词向量
#listClass是句子所属的类别[0,1,0,1,0,1]
nb                  = NBayes()      #实例化
nb.train_set(dataSet,listClasses)   #训练数据集
nb.map2vocab(dataSet[0])            #随机选择一个测试语句
print nb.predict(nb.testset)

分类结果如下:
1

  

  

参考资料及版权所有:郑捷《机器学习算法原理与编程实践》

以上是关于郑捷《机器学习算法原理与编程实践》学习笔记(第二章 中文文本分类—朴素贝叶斯算法)的主要内容,如果未能解决你的问题,请参考以下文章

郑捷《机器学习算法原理与编程实践》学习笔记(第六章 神经网络初步)6.5 Boltzmann机算法

郑捷《机器学习算法原理与编程实践》学习笔记(第七章 预测技术与哲学)7.3 岭回归

郑捷《机器学习算法原理与编程实践》学习笔记(第七章 预测技术与哲学)7.1 线性系统的预测

郑捷《机器学习算法原理与编程实践》学习笔记(第三章 决策树的发展)_Scikit-learn与回归树

郑捷《机器学习算法原理与编程实践》学习笔记(第六章 神经网络初步)6.3 自组织特征映射神经网路(SMO)

机器学习之逐次下降法(机器学习算法原理与实践)郑捷