实验三 朴素贝叶斯

Posted 2021-06-25 18***

---

博客班级	AHPU机器学习
作业要求	作业要求
作业目标	朴素贝叶斯算法及应用
学号	3180701131 莫申勇

一、实验目的

1.理解朴素贝叶斯算法原理，掌握朴素贝叶斯算法框架；
2.掌握常见的高斯模型，多项式模型和伯努利模型；
3.能根据不同的数据类型，选择不同的概率模型实现朴素贝叶斯算法；
4.针对特定应用场景及数据，能应用朴素贝叶斯解决实际问题。

二、实验内容

1实现高斯朴素贝叶斯算法。
2.熟悉sklearn库中的朴素贝叶斯算法；
3.针对iris数据集，应用sklearn的朴素贝叶斯算法进行类别预测。
4.针对iris数据集，利用自编朴素贝叶斯算法进行类别预测。

三、实验报告要求

1.对照实验内容，撰写实验过程、算法及测试结果；
2.代码规范化：命名规则、注释；
3.分析核心算法的复杂度；
4.查阅文献，讨论各种朴素贝叶斯算法的应用场景；
5.讨论朴素贝叶斯算法的优缺点。

四、实验过程及结果

实验代码

高斯模型
多项式模型
伯努利模型

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
%matplotlib inline

from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split

from collections import Counter
import math

# data
def create_data():
    iris = load_iris()
    df = pd.DataFrame(iris.data, columns=iris.feature_names)
    df[\'label\'] = iris.target
    df.columns = [\'sepal length\', \'sepal width\', \'petal length\', \'petal width\', \'label\']
    data = np.array(df.iloc[:100, :])
    # print(data)
    return data[:,:-1], data[:,-1]

X, y = create_data()
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3)

X_test[0], y_test[0]

GaussianNB 高斯朴素贝叶斯

class NaiveBayes:
    def __init__(self):
        self.model = None

    # 数学期望
    @staticmethod
    def mean(X):
        return sum(X) / float(len(X))

    # 标准差（方差）
    def stdev(self, X):
        avg = self.mean(X)
        return math.sqrt(sum([pow(x-avg, 2) for x in X]) / float(len(X)))

    # 概率密度函数
    def gaussian_probability(self, x, mean, stdev):
        exponent = math.exp(-(math.pow(x-mean,2)/(2*math.pow(stdev,2))))
        return (1 / (math.sqrt(2*math.pi) * stdev)) * exponent

    # 处理X_train
    def summarize(self, train_data):
        summaries = [(self.mean(i), self.stdev(i)) for i in zip(*train_data)]
        return summaries

    # 分类别求出数学期望和标准差
    def fit(self, X, y):
        labels = list(set(y))
        data = {label:[] for label in labels}
        for f, label in zip(X, y):
            data[label].append(f)
        self.model = {label: self.summarize(value) for label, value in data.items()}
        return \'gaussianNB train done!\'

    # 计算概率
    def calculate_probabilities(self, input_data):
        # summaries:{0.0: [(5.0, 0.37),(3.42, 0.40)], 1.0: [(5.8, 0.449),(2.7, 0.27)]}
        # input_data:[1.1, 2.2]
        probabilities = {}
        for label, value in self.model.items():
            probabilities[label] = 1
            for i in range(len(value)):
                mean, stdev = value[i]
                probabilities[label] *= self.gaussian_probability(input_data[i], mean, stdev)
        return probabilities

    # 类别
    def predict(self, X_test):
        # {0.0: 2.9680340789325763e-27, 1.0: 3.5749783019849535e-26}
        label = sorted(self.calculate_probabilities(X_test).items(), key=lambda x: x[-1])[-1][0]
        return label

    def score(self, X_test, y_test):
        right = 0
        for X, y in zip(X_test, y_test):
            label = self.predict(X)
            if label == y:
                right += 1

        return right / float(len(X_test))

model = NaiveBayes()

model.fit(X_train, y_train)

结果

print(model.predict([4.4,  3.2,  1.3,  0.2]))

结果

model.score(X_test, y_test)

scikit-learn实例，sklearn.naive_bayes

from sklearn.naive_bayes import GaussianNB
clf = GaussianNB()
clf.fit(X_train, y_train)

结果

clf.score(X_test, y_test)

结果

clf.predict([4.4,  3.2,  1.3,  0.2])

结果

from sklearn.naive_bayes import BernoulliNB, MultinomialNB # 伯努利模型和多项式模型

五、实验小结

朴素贝叶斯的应用场景

需要一个比较容易解释，而且不同维度之间相关性较小的模型的时候。
可以高效处理高维数据，虽然结果可能不尽如人意。

讨论朴素贝叶斯算法的优缺点。

优点:
朴素贝叶斯模型发源于古典数学理论，有着坚实的数学基础，以及稳定的分类效率；
对大数量训练和查询时具有较高的速度。即使使用超大规模的训练集，针对每个项目通常也只会有相对较少的特征数，并且对项目的训练和分类也仅仅是特征概率的数学运算而已；
对小规模的数据表现很好，能个处理多分类任务，适合增量式训练(即可以实时的对新增的样本进行训练)；
对缺失数据不太敏感，算法也比较简单，常用于文本分类；
朴素贝叶斯对结果解释容易理解。
缺点:
需要计算先验概率；
分类决策存在错误率；
对输入数据的表达形式很敏感；
由于使用了样本属性独立性的假设，所以如果样本属性有关联时其效果不好。

实验三	任务内容	计划完成需要的时间（min）	实际完成需要的时间（min）
Planning	计划	120	8
Development	开发	100	150
Analysis	需求分析（包括学习新技术）	10	10
Design Spec	生成设计文档	30	40
Design Review	设计复审	5	10
Coding Standard	代码规范	3	2
Design	具体设计	10	12
Coding	具体编码	36	21
Code Review	代码复审	5	7
Test	测试（自我测试，修改代码，提交修改）	10	15
Reporting	报告	9	6
Test Report	测试报告	3	2
Size Measurement	计算工作量	2	1
Postmortem & Process Improvement Plan	事后总结，并提出过程改进计划	3	3