朴素贝叶斯的两个案例

Posted 2021-04-25 Tomcatist

案例一：鸢尾花数据实验

应用GaussianNB对鸢尾花数据集进行分类。

import numpy as npimport pandas as pdimport random

# ---------------- 1.导入数据集 ------------------dataSet = pd.read_csv('iris.txt',header= None)# print(dataSet.head())# -----------------2.切分训练集和测试集 --------------"""函数功能：随机切分训练集和测试集参数说明： dataSet: 输入的数据集 rate: 训练集所占比例返回：切分好的训练集和测试集"""def randSplit(dataSet, rate): l = list(dataSet.index) # 提取出索引 random.shuffle(l) # 随机打乱索引 dataSet.index = l # 将打乱后的索引重新赋值给原数据集 n = dataSet.shape[0] # 总行数 m = int(n * rate) # 训练集的数量 train = dataSet.loc[range(m), :] # 提取前m个记录作为训练集 test = dataSet.loc[range(m,n), :] # 剩下的作为测试集 dataSet.index = range(dataSet.shape[0]) # 更新原数据集的索引 test.index = range(test.shape[0]) # 更新测试集的索引 return train, test
train, test = randSplit(dataSet, 0.8) # 调用randSplit#print(train.head())
# ------------------ 3.构建高斯朴素贝叶斯分类器 --------------------
def gnb_classify(train, test): labels = train.iloc[:, -1].value_counts().index # 提取训练集的标签种类 mean = [] # 存放每个类别的均值 std = [] # 存放每个类别的方差 result = [] # 存放测试集的预测结果 for i in labels: item = train.loc[train.iloc[:, -1] == i, :] # 分别提取出每一种类别 m = item.iloc[:, :-1].mean() # 当前类别的平均值 s = np.sum((item.iloc[:, :-1] - m) ** 2) / (item.shape[0]) # 当前类别的方差 mean.append(m) # 将当前类别的平均值追加至列表 std.append(s) # 将当前类别的方差追加至列表 means = pd.DataFrame(mean, index=labels) # 变成DF格式，索引为类标签 stds = pd.DataFrame(std, index=labels) # 变成DF格式，索引为类标签 for j in range(test.shape[0]): iset = test.iloc[j, :-1].tolist() # 当前测试实例 iprob = np.exp(-1 * (iset - means) ** 2 / (stds * 2)) / (np.sqrt(2 * np.pi * stds)) # 正态分布公式 prob = 1 # 初始化当前实例总概率 for k in range(test.shape[1] - 1): # 遍历每个特征 prob *= iprob[k] # 特征概率之积即为当前实例概率 cla = prob.index[np.argmax(prob.values)] # 返回最大概率的类别 result.append(cla) test['predict'] = result acc = (test.iloc[:, -1] == test.iloc[:, -2]).mean() # 计算预测准确率 print(f'模型预测准确率为{acc}') return test
result = gnb_classify(train, test) # 调用gnb_classifyprint(result)

运行结果：

可以看到准确率能达到90%以上！

案例二：使用朴素贝叶斯进行文档分类

朴素贝叶斯一个很重要的应用就是文本分类，所以我们以在线社区留言为例。为了不影响社区的发展，我们要屏蔽 侮辱性的言论，所以要构建一个快速过滤器，如果某条留言使用了负面或者侮辱性的语言，那么就将该留言标志为 内容不当。过滤这类内容是一个很常见的需求。对此问题建立两个类型:侮辱类和非侮辱类，使用1和0分别表示。

我们把文本看成单词向量或者词条向量，也就是说将句子转换为向量。考虑出现所有文档中的单词，再决定将哪些
单词纳入词汇表或者说所要的词汇集合，然后必须要将每一篇文档转换为词汇表上的向量。简单起见，我们先假设
已经将本文切分完毕，存放到列表中，并对词汇向量进行分类标注。

此案例所有的函数:

loadDataSet:创建实验数据集 

createVocabList:生成词汇表 

setOfWords2Vec:生成词向量 

get_trainMat:所有词条向量列表 

trainNB:朴素贝叶斯分类器训练函数

classifyNB:朴素贝叶斯分类器分类函数 

testingNB:朴素贝叶斯测试函数

import numpy as npfrom functools import reduce# ---------------------1. 构建词向量 -------------------------"""函数功能:创建实验数据集参数说明:无参数返回: postingList:切分好的样本词条 classVec:类标签向量"""def loadDataSet(): dataSet=[['my', 'dog', 'has', 'flea', 'problems', 'help', 'please'], ['maybe', 'not', 'take', 'him', 'to', 'dog', 'park', 'stupid'], ['my', 'dalmation', 'is', 'so', 'cute', 'I', 'love', 'him'], ['stop', 'posting', 'stupid', 'worthless', 'garbage'], ['mr', 'licks', 'ate', 'my', 'steak', 'how', 'to', 'stop', 'him'], ['quit', 'buying', 'worthless', 'dog', 'food', 'stupid']] #切分好的词条 classVec = [0,1,0,1,0,1] #类别标签向量，1代表侮辱性词汇，0代表非侮辱性词汇 return dataSet,classVecdataSet,classVec = loadDataSet()#print(dataSet)#print(classVec)
"""函数功能:将切分的样本词条整理成词汇表(不重复)参数说明:dataSet:切分好的样本词条 返回: vocabList:不重复的词汇表 """def createVocabList(dataSet): vocabSet = set() #创建一个空的集合 for doc in dataSet: #遍历dataSet中的每一条言论 vocabSet = vocabSet | set(doc) #取并集 vocabList = list(vocabSet) return vocabList
vocabList = createVocabList(dataSet)
"""函数功能:根据vocabList词汇表，将inputSet向量化，向量的每个元素为1或0 参数说明: vocabList:词汇表 inputSet:切分好的词条列表中的一条 返回: returnVec:文档向量,词集模型 """def setOfWords2Vec(vocabList, inputSet): returnVec = [0] * len(vocabList) # 创建一个其中所含元素都为0的向量 for word in inputSet: # 遍历每个词条 if word in vocabList: # 如果词条存在于词汇表中，则变为1 returnVec[vocabList.index(word)] = 1 else: print(f" {word} is not in my Vocabulary!" ) return returnVec # 返回文档向量
"""函数功能:生成训练集向量列表参数说明: dataSet:切分好的样本词条 返回: trainMat:所有的词条向量组成的列表 """def get_trainMat(dataSet): trainMat = [] #初始化向量列表 vocabList = createVocabList(dataSet) #生成词汇表 for inputSet in dataSet: #遍历样本词条中的每一条样本 returnVec=setOfWords2Vec(vocabList, inputSet) #将当前词条向量化 trainMat.append(returnVec) # 追加到向量列表中 return trainMat
trainMat = get_trainMat(dataSet)
# -------------------2. 朴素贝叶斯分类器训练函数 ---------------------
"""函数功能:朴素贝叶斯分类器训练函数参数说明: trainMat:训练文档矩阵 classVec:训练类别标签向量 返回: p0V:非侮辱类的条件概率数组  p1V:侮辱类的条件概率数组 pAb:文档属于侮辱类的概率 """def trainNB(trainMat,classVec): n = len(trainMat) #计算训练的文档数目 m = len(trainMat[0]) #计算每篇文档的词条数 pAb = sum(classVec)/n #文档属于侮辱类的概率 p0Num = np.zeros(m) #词条出现数初始化为0 p1Num = np.zeros(m) #词条出现数初始化为0 p0Denom = 0 #分母初始化为0 p1Denom = 0 #分母初始化为0 for i in range(n): #遍历每一个文档 if classVec[i] == 1: #统计属于侮辱类的条件概率所需的数据 p1Num += trainMat[i] p1Denom += sum(trainMat[i]) else: #统计属于非侮辱类的条件概率所需的数据 p0Num += trainMat[i] p0Denom += sum(trainMat[i]) p1V = p1Num / p1Denom p0V = p0Num / p0Denom return p0V, p1V, pAb # 返回属于非侮辱类,侮辱类和文档属于侮辱类的概率
p0V, p1V, pAb = trainNB(trainMat, classVec)#print(p0V, p1V, pAb )# ------------------ 3. 测试朴素贝叶斯分类器 ------------------
""" 函数功能:朴素贝叶斯分类器分类函数 参数说明: vec2Classify:待分类的词条数组 p0V:非侮辱类的条件概率数组 p1V:侮辱类的条件概率数组 pAb:文档属于侮辱类的概率 返回: 0:属于非侮辱类 1:属于侮辱类 """def classifyNB(vec2Classify, p0V, p1V, pAb): p1 = reduce(lambda x,y:x*y, vec2Classify * p1V) * pAb # 对应元素相乘 p0 = reduce(lambda x,y:x*y, vec2Classify * p0V) * (1 - pAb) print('p0:',p0) print('p1:',p1) if p1 > p0: return 1 else: return 0

"""函数功能:朴素贝叶斯测试函数参数说明: testVec:测试样本 返回: 测试样本的类别"""def testingNB(testVec): dataSet,classVec = loadDataSet() #创建实验样本 vocabList = createVocabList(dataSet) #创建词汇表 trainMat= get_trainMat(dataSet) #将实验样本向量化 p0V,p1V,pAb = trainNB(trainMat,classVec) #训练朴素贝叶斯分类器 thisone = setOfWords2Vec(vocabList, testVec) #测试样本向量化 if classifyNB(thisone,p0V,p1V,pAb): print(testVec,'属于侮辱类') #执行分类并打印分类结果 else: print(testVec,'属于非侮辱类') #执行分类并打印分类结果
# #测试样本1# testVec1 = ['love', 'my', 'dalmation']# testingNB(testVec1)# #测试样本2# testVec2 = ['stupid', 'garbage']# testingNB(testVec2)
# ------------------ 4. 朴素贝叶斯改进之拉普拉斯平滑 -----------------------def trainNB(trainMat,classVec): n = len(trainMat) #计算训练的文档数目 m = len(trainMat[0]) #计算每篇文档的词条数 pAb = sum(classVec)/n #文档属于侮辱类的概率 p0Num = np.ones(m) #词条出现数初始化为1 p1Num = np.ones(m) #词条出现数初始化为1 p0Denom = 2 #分母初始化为2 p1Denom = 2 #分母初始化为2 for i in range(n): #遍历每一个文档 if classVec[i] == 1: #统计属于侮辱类的条件概率所需的数据 p1Num += trainMat[i] p1Denom += sum(trainMat[i]) else: #统计属于非侮辱类的条件概率所需的数据 p0Num += trainMat[i] p0Denom += sum(trainMat[i]) p1V = np.log(p1Num/p1Denom) p0V = np.log(p0Num/p0Denom) return p0V,p1V,pAb #返回属于非侮辱类,侮辱类和文档属于侮辱类的概率

p0V, p1V, pAb = trainNB(trainMat, classVec)
def classifyNB(vec2Classify, p0V, p1V, pAb): p1 = sum(vec2Classify * p1V) + np.log(pAb) #对应元素相乘 p0 = sum(vec2Classify * p0V) + np.log(1- pAb) #对应元素相乘 if p1 > p0: return 1 else: return 0#测试样本1testVec1 = ['love', 'my', 'dalmation']testingNB(testVec1)#测试样本2testVec2 = ['stupid', 'garbage']testingNB(testVec2)

运行结果：

可以准确捕捉侮辱类词汇。