贝叶斯网络，看完这篇我终于理解了(附代码)！

Posted 2023-04-28

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了贝叶斯网络，看完这篇我终于理解了(附代码)！相关的知识，希望对你有一定的参考价值。

参考技术A

概率图模型是用图来表示变量概率依赖关系的理论，结合概率论与图论的知识，利用图来表示与模型有关的变量的联合概率分布。由图灵奖获得者Pearl开发出来。

如果用一个词来形容概率图模型（Probabilistic Graphical Model）的话，那就是“优雅”。对于一个实际问题，我们希望能够挖掘隐含在数据中的知识。概率图模型构建了这样一幅图，用观测结点表示观测到的数据，用隐含结点表示潜在的知识，用边来描述知识与数据的相互关系， 最后基于这样的关系图获得一个概率分布 ，非常“优雅”地解决了问题。

概率图中的节点分为隐含节点和观测节点，边分为有向边和无向边。从概率论的角度，节点对应于随机变量，边对应于随机变量的依赖或相关关系，其中 有向边表示单向的依赖，无向边表示相互依赖关系 。

概率图模型分为 贝叶斯网络（Bayesian Network）和马尔可夫网络（Markov Network） 两大类。贝叶斯网络可以用一个有向图结构表示，马尔可夫网络可以表示成一个无向图的网络结构。更详细地说，概率图模型包括了朴素贝叶斯模型、最大熵模型、隐马尔可夫模型、条件随机场、主题模型等，在机器学习的诸多场景中都有着广泛的应用。

长久以来，人们对一件事情发生或不发生的概率，只有固定的0和1，即要么发生，要么不发生，从来不会去考虑某件事情发生的概率有多大，不发生的概率又是多大。而且概率虽然未知，但最起码是一个确定的值。比如如果问那时的人们一个问题：“有一个袋子，里面装着若干个白球和黑球，请问从袋子中取得白球的概率是多少？”他们会想都不用想，会立马告诉你，取出白球的概率就是1/2，要么取到白球，要么取不到白球，即θ只能有一个值，而且不论你取了多少次，取得白球的 概率θ始终都是1/2 ，即不随观察结果X 的变化而变化。

这种 频率派 的观点长期统治着人们的观念，直到后来一个名叫Thomas Bayes的人物出现。

托马斯·贝叶斯Thomas Bayes（1702-1763）在世时，并不为当时的人们所熟知，很少发表论文或出版著作，与当时学术界的人沟通交流也很少，用现在的话来说，贝叶斯就是活生生一民间学术“屌丝”，可这个“屌丝”最终发表了一篇名为“An essay towards solving a problem in the doctrine of chances”，翻译过来则是：机遇理论中一个问题的解。你可能觉得我要说：这篇论文的发表随机产生轰动效应，从而奠定贝叶斯在学术史上的地位。

这篇论文可以用上面的例子来说明，“有一个袋子，里面装着若干个白球和黑球，请问从袋子中取得白球的概率θ是多少？”贝叶斯认为取得白球的概率是个不确定的值，因为其中含有机遇的成分。比如，一个朋友创业，你明明知道创业的结果就两种，即要么成功要么失败，但你依然会忍不住去估计他创业成功的几率有多大？你如果对他为人比较了解，而且有方法、思路清晰、有毅力、且能团结周围的人，你会不由自主的估计他创业成功的几率可能在80%以上。这种不同于最开始的“非黑即白、非0即1”的思考方式，便是 贝叶斯式的思考方式。

先简单总结下频率派与贝叶斯派各自不同的思考方式：

贝叶斯派既然把看做是一个随机变量，所以要计算的分布，便得事先知道的无条件分布，即在有样本之前（或观察到X之前），有着怎样的分布呢？

比如往台球桌上扔一个球，这个球落会落在何处呢？如果是不偏不倚的把球抛出去，那么此球落在台球桌上的任一位置都有着相同的机会，即球落在台球桌上某一位置的概率服从均匀分布。这种在实验之前定下的属于基本前提性质的分布称为 先验分布，或着无条件分布 。

其中，先验信息一般来源于经验跟历史资料。比如林丹跟某选手对决，解说一般会根据林丹历次比赛的成绩对此次比赛的胜负做个大致的判断。再比如，某工厂每天都要对产品进行质检，以评估产品的不合格率θ，经过一段时间后便会积累大量的历史资料，这些历史资料便是先验知识，有了这些先验知识，便在决定对一个产品是否需要每天质检时便有了依据，如果以往的历史资料显示，某产品的不合格率只有0.01%，便可视为信得过产品或免检产品，只每月抽检一两次，从而省去大量的人力物力。

而 后验分布 π（θ|X）一般也认为是在给定样本X的情况下的θ条件分布，而使π（θ|X）达到最大的值θMD称为 最大后验估计 ，类似于经典统计学中的 极大似然估计 。

综合起来看，则好比是人类刚开始时对大自然只有少得可怜的先验知识，但随着不断观察、实验获得更多的样本、结果，使得人们对自然界的规律摸得越来越透彻。所以，贝叶斯方法既符合人们日常生活的思考方式，也符合人们认识自然的规律，经过不断的发展，最终占据统计学领域的半壁江山，与经典统计学分庭抗礼。

条件概率 （又称后验概率）就是事件A在另外一个事件B已经发生条件下的发生概率。条件概率表示为P(A|B)，读作“在B条件下A的概率”。

比如上图，在同一个样本空间Ω中的事件或者子集A与B，如果随机从Ω中选出的一个元素属于B，那么这个随机选择的元素还属于A的概率就定义为在B的前提下A的条件概率：

联合概率：

边缘概率(先验概率)：P(A)或者P(B)

贝叶斯网络(Bayesian network)，又称信念网络(Belief Network)，或有向无环图模型(directed acyclic graphical model)，是一种概率图模型，于1985年由Judea Pearl首先提出。它是一种模拟人类推理过程中因果关系的不确定性处理模型，其网络拓朴结构是一个有向无环图(DAG)。

贝叶斯网络的有向无环图中的节点表示随机变量

它们可以是可观察到的变量，或隐变量、未知参数等。认为有因果关系（或非条件独立）的变量或命题则用箭头来连接。若两个节点间以一个单箭头连接在一起，表示其中一个节点是“因(parents)”，另一个是“果(children)”，两节点就会产生一个条件概率值。

例如，假设节点E直接影响到节点H，即E→H，则用从E指向H的箭头建立结点E到结点H的有向弧(E,H)，权值(即连接强度)用条件概率P(H|E)来表示，如下图所示：

简言之，把某个研究系统中涉及的随机变量，根据是否条件独立绘制在一个有向图中，就形成了贝叶斯网络。其主要用来描述随机变量之间的条件依赖，用圈表示随机变量(random variables)，用箭头表示条件依赖(conditional dependencies)。

此外，对于任意的随机变量，其联合概率可由各自的局部条件概率分布相乘而得出：

1. head-to-head

依上图，所以有：P(a,b,c) = P(a) P(b) P(c|a,b)成立，即在c未知的条件下，a、b被阻断(blocked)，是独立的，称之为head-to-head条件独立。

2. tail-to-tail

考虑c未知，跟c已知这两种情况：

3. head-to-tail

还是分c未知跟c已知这两种情况：

wikipedia上是这样定义因子图的：将一个具有多变量的全局函数因子分解，得到几个局部函数的乘积，以此为基础得到的一个双向图叫做因子图（Factor Graph）。

通俗来讲，所谓因子图就是对函数进行因子分解得到的 一种概率图 。一般内含两种节点：变量节点和函数节点。我们知道，一个全局函数通过因式分解能够分解为多个局部函数的乘积，这些局部函数和对应的变量关系就体现在因子图上。

举个例子，现在有一个全局函数，其因式分解方程为：

其中fA,fB,fC,fD,fE为各函数，表示变量之间的关系，可以是条件概率也可以是其他关系。其对应的因子图为：

在概率图中，求某个变量的边缘分布是常见的问题。这问题有很多求解方法，其中之一就是把贝叶斯网络或马尔科夫随机场转换成因子图，然后用sum-product算法求解。换言之，基于因子图可以用 sum-product 算法 高效的求各个变量的边缘分布。

详细的sum-product算法过程，请查看博文：从贝叶斯方法谈到贝叶斯网络

朴素贝叶斯(Naive Bayesian)是经典的机器学习算法之一，也是为数不多的基于概率论的分类算法。朴素贝叶斯原理简单，也很容易实现，多用于文本分类，比如垃圾邮件过滤。**朴素贝叶斯可以看做是贝叶斯网络的特殊情况：即该网络中无边，各个节点都是独立的。 **

朴素贝叶斯朴素在哪里呢？ —— 两个假设 ：

贝叶斯公式如下：

下面以一个例子来解释朴素贝叶斯，给定数据如下：

现在给我们的问题是，如果一对男女朋友，男生想女生求婚，男生的四个特点分别是不帅，性格不好，身高矮，不上进，请你判断一下女生是嫁还是不嫁？

这是一个典型的分类问题，转为数学问题就是比较p(嫁|(不帅、性格不好、身高矮、不上进))与p(不嫁|(不帅、性格不好、身高矮、不上进))的概率，谁的概率大，我就能给出嫁或者不嫁的答案！这里我们联系到朴素贝叶斯公式：

我们需要求p(嫁|(不帅、性格不好、身高矮、不上进),这是我们不知道的，但是通过朴素贝叶斯公式可以转化为好求的三个量，这三个变量都能通过统计的方法求得。

等等，为什么这个成立呢？学过概率论的同学可能有感觉了，这个等式成立的条件需要特征之间相互独立吧！对的！这也就是为什么朴素贝叶斯分类有朴素一词的来源，朴素贝叶斯算法是假设各个特征之间相互独立，那么这个等式就成立了！

但是为什么需要假设特征之间相互独立呢？

根据上面俩个原因，朴素贝叶斯法对条件概率分布做了条件独立性的假设，由于这是一个较强的假设，朴素贝叶斯也由此得名！这一假设使得朴素贝叶斯法变得简单，但有时会牺牲一定的分类准确率。

朴素贝叶斯优点 ：

朴素贝叶斯缺点 ：

理论上，朴素贝叶斯模型与其他分类方法相比具有最小的误差率。但是实际上并非总是如此，这是因为朴素贝叶斯模型假设属性之间相互独立，这个假设在实际应用中往往是不成立的，在属性个数比较多或者属性之间相关性较大时，分类效果不好。

朴素贝叶斯模型(Naive Bayesian Model)的 朴素(Naive)的含义是"很简单很天真" 地假设样本特征彼此独立. 这个假设现实中基本上不存在, 但特征相关性很小的实际情况还是很多的, 所以这个模型仍然能够工作得很好。

新闻分类 GitHub：点击进入

【机器学习通俗易懂系列文章】

从贝叶斯方法谈到贝叶斯网络

太赞了！机器学习基础核心算法：贝叶斯分类！(附西瓜书案例及代码实现)

Datawhale

寄语：首先，简单介绍了生成模型和判别模型，对条件概率、先验概率和后验概率进行了总结；其次，对朴素贝叶斯的原理及公式推导做了详细解读；再次，对三种可能遇到的问题进行了解析，给出了合理的解决办法；最后，对朴素贝叶斯的sklearn参数和代码进行了详解。

贝叶斯分类是一类分类算法的总称，这类算法均以贝叶斯定理为基础，故统称为贝叶斯分类。而朴素贝叶斯分类是贝叶斯分类中最简单，也是应用最为广泛的分类算法之一。朴素贝叶斯方法是在贝叶斯算法的基础上进行了相应的简化，即假定给定目标值时属性之间相互条件独立。

知识框架

先验概率、条件概率

条件概率

就是事件A在事件B发生的条件下发生的概率。条件概率表示为P（A|B），读作“A在B发生的条件下发生的概率”。

先验概率

在贝叶斯统计中，某一不确定量 p 的先验概率分布是在考虑"观测数据"前，能表达 p 不确定性的概率分布。它旨在描述这个不确定量的不确定程度，而不是这个不确定量的随机性。这个不确定量可以是一个参数，或者是一个隐含变量。

后验概率

在贝叶斯统计中，一个随机事件或者一个不确定事件的后验概率是在考虑和给出相关证据或数据后所得到的条件概率。

同样，后验概率分布是一个未知量（视为随机变量）基于试验和调查后得到的概率分布。“后验”在本文中代表考虑了被测试事件的相关证据。

贝叶斯决策理论

贝叶斯决策论是概率框架下实施决策的基本方法，对分类任务来说，在所有相关概率都已知的理想情形下，贝叶斯决策论考虑如何基于这些概率和误判损失来选择最优的类别标记。

假设有N种可能标记，是将类误分类为所产生的损失，基于后验概率可以获得样本x分类为所产生的期望损失，即在样本x上的条件风险：

我们的任务是寻找一个判定准则以最小化总体风险

显然，对每个样本，若能最小化条件风险 ,则总体风险也将被最小化。这就产生了贝叶斯判定准则：最小化总体风险，只需要在每个样本上选择那个能使条件风险最小的类别标记，即：

此时，称作贝叶斯最优分类器，与之对应的总体风险称为贝叶斯风险，反映了分类器能达到的最好性能，即机器学习所产生的模型精度的上限。具体来说，若目标是最小化分类错误率（对应0/1损失），则可以用损失改写，得到条件风险和最小化分类错误率的最优分类器分别为：

即对每个样本x，选择能使后验概率P(c|x)最大的类别标识。

获得后验概率的两种方法：

判别式模型 : 给定x, 可以通过直接建模P(c|x)来预测c。
生成模型 : 先对联合分布p(x,c)模，然后再有此获得P(c|x)。

贝叶斯公式

对生成模型来说，必然考虑：

其中P(c)是“先验概率”；P(x|c)是样本x对于类标记c的类条件概率，或称为“似然”；P(x)是用于归一化的“证据”因子。上式即为贝叶斯公式，可以将其看做：

对类条件概率P(x|c)来说，直接根据样本出现的频率来估计将会遇到严重的困难，所以引入了极大似然估计。

极大似然估计

估计类条件概率有一种常用的策略就是先假定其具有某种确定的概率分布形式，再基于训练样本对概率分布的参数进行估计。

假设P(x|c)具有某种确定的形式并且被参数唯一确定，则我们的任务就是利用训练结D估计参数。为了明确期间，我们将P(x|c)记为。

举个通俗的例子：假设一个袋子装有白球与红球，比例未知，现在抽取10次（每次抽完都放回，保证事件独立性），假设抽到了7次白球和3次红球，在此数据样本条件下，可以采用最大似然估计法求解袋子中白球的比例（最大似然估计是一种“模型已定，参数未知”的方法）。

当然，这种数据情况下很明显，白球的比例是70%，但如何通过理论的方法得到这个答案呢？一些复杂的条件下，是很难通过直观的方式获得答案的，这时候理论分析就尤为重要了，这也是学者们为何要提出最大似然估计的原因。我们可以定义从袋子中抽取白球和红球的概率如下：

x1为第一次采样，x2为第二次采样，f为模型, theta为模型参数。其中θ是未知的，因此，我们定义似然L为：

两边取ln，取ln是为了将右边的乘号变为加号，方便求导。

两边取ln的结果，左边的通常称之为对数似然。

这是平均对数似然。最大似然估计的过程，就是找一个合适的theta，使得平均对数似然的值为最大。因此，可以得到以下公式：

最大似然估计的公式。这里讨论的是2次采样的情况，

当然也可以拓展到多次采样的情况：最大似然估计的公式（n次采样）。我们定义M为模型（也就是之前公式中的f），表示抽到白球的概率为θ，而抽到红球的概率为(1-θ)，因此10次抽取抽到白球7次的概率可以表示为：

将其描述为平均似然可得：

10次抽取抽到白球7次的平均对数似然，抽球的情况比较简单，可以直接用平均似然来求解。那么最大似然就是找到一个合适的theta，获得最大的平均似然。因此我们可以对平均似然的公式对theta求导，并另导数为0。

求得，θ=0.7。求导过程由此可得，当抽取白球的概率为0.7时，最可能产生10次抽取抽到白球7次的事件。以上就用到了最大似然估计的思想。

令Dc表示训练集D中第c类样本组成的集合，假设这些集合是独立同分布的，则对参数θc、对于数据集Dc的似然是:

对θc进行激发似然估计买就是去寻找能最大化似然函数的参数值θc直观上，极大似然估计是在试图在θc的所有可能的去职中，找到一个能使数据出现最大“可能性”的最大值上面的式子中的连乘操作容易造成下溢，通常使用对数似然：

此时，参数的极大似然估计为

例如，在连续属性的情形下，假设概率密度函数 ,则参数和。

也就是说通过极大似然发得到的额正态分布均值就是样本均值，方差就是的均值。这显然是一个符合只觉得结果，在离散属性情形下，也可以通过类似的方法来估计类条件概率。

需要注意的是这种方法虽然能够使类条件概率估计变得简单，但是估计结果准确性严重依赖于所假设的概率分布形式是否符合潜在的真实数据分布。在显示生活中往往需要应用任务本身的经验知识，“猜测”则会导致误导性的结果。

贝叶斯分类器的训练过程就是参数估计。总结最大似然法估计参数的过程，一般分为以下四个步骤：

写出似然函数；
对似然函数取对数，并整理；
求导数，令偏导数为0，得到似然方程组；
解似然方程组，得到所有参数即为所求。

朴素贝叶斯分类器

基于贝叶斯公式来估计后验概率P(c|x)主要困难在于类条件概率P(x|c)是所有属性上的联合概率，难以从有限的训练样本直接估计而得。

基于有限训练样本直接计算联合概率，在计算上将会遭遇组合爆炸问题；在数据上将会遭遇样本稀疏问题；属性越多，问题越严重。

为了避开这个障碍，朴素贝叶斯分类器采用了“属性条件独立性假设”：对已知类别，假设所有属性相互独立。换言之，假设每个属性独立的对分类结果发生影响相互独立。

回答西瓜的例子就可以认为｛色泽根蒂敲声纹理脐部触感｝这些属性对西瓜是好还是坏的结果所产生的影响相互独立。

基于条件独立性假设，对于多个属性的后验概率可以写成：

d为属性数目，是在第个属性上取值。对于所有的类别来说相同，基于极大似然的贝叶斯判定准则有朴素贝叶斯的表达式：

极值问题情况下每个类的分类概率

很多时候遇到求出各种目标函数（object function）的最值问题（最大值或者最小值）。关于函数最值问题，其实在高中的时候我们就已经了解不少，最经典的方法就是：直接求出极值点。

这些极值点的梯度为0。若极值点唯一，则这个点就是代入函数得出的就是最值；若极值点不唯一，那么这些点中，必定存在最小值或者最大值（去除函数的左右的最端点），所以把极值代入函数，经对比后可得到结果。

请注意：并不一定所有函数的极值都可以通过设置导数为0的方式求出。也就是说，有些问题中当我们设定导数为0时，未必能直接计算出满足导数为0的点（比如逻辑回归模型），这时候就需要利用数值计算相关的技术（最典型为梯度下降法，牛顿法……）。

下溢问题如何解决

数值下溢问题：是指计算机浮点数计算的结果小于可以表示的最小数，因为计算机的能力有限，当数值小于一定数时，其无法精确保存，会造成数值的精度丢失，由上述公式可以看到，求概率时多个概率值相乘，得到的结果往往非常小；因此通常采用取对数的方式，将连乘转化为连加，以避免数值下溢。

零概率问题如何解决？

零概率问题，就是在计算实例的概率时，如果某个量x，在观察样本库（训练集）中没有出现过，会导致整个实例的概率结果是0。

在实际的模型训练过程中，可能会出现零概率问题（因为先验概率和反条件概率是根据训练样本算的，但训练样本数量不是无限的，所以可能出现有的情况在实际中存在，但在训练样本中没有，导致为0的概率值，影响后面后验概率的计算）。

即便可以继续增加训练数据量，但对于有些问题来说，数据怎么增多也是不够的。这时我们说模型是不平滑的，我们要使之平滑，一种方法就是将训练（学习）的方法换成贝叶斯估计。

现在看一个示例，及P(敲声=清脆∣好瓜=是)=8/0=0。不论样本的其他属性如何，分类结果都会为“好瓜=否”，这样显然不太合理。

朴素贝叶斯算法的先天缺陷

其他属性携带的信息被训练集中某个分类下未出现的属性值“抹去”，造成预测出来的概率绝对为0。为了弥补这一缺陷，前辈们引入了拉普拉斯平滑的方法：对先验概率的分子(划分的计数)加1，分母加上类别数；对条件概率分子加1，分母加上对应特征的可能取值数量。这样在解决零概率问题的同时，也保证了概率和依然为1：

其中，N表示数据集中分类标签，表示第个属性的取值类别数，样本容量，表示类别的记录数量，表示类别中第个属性取值为的记录数量。

将这两个式子应用到上面的计算过程中，就可以弥补朴素贝叶斯算法的这一缺陷问题。

用西瓜的数据来看，当我们计算 P(好瓜=是) 时，样本有17个，所以|D| = 17，N，好瓜标签可以分为｛是，否｝两类，所以N=2，（好瓜=是）的样本个数有8个，所以这里。

综上，根据拉普拉斯平滑后有

P（色泽=青绿|好瓜=是）时，色泽青绿的样本有8个，所以|D_c| = 8，色泽标签可以分为｛青绿，浅白，乌黑｝三类，所以N=3，（好瓜=是）的样本个数有3个，所以这里 =3。综上，根据拉普拉斯平滑后有

同理，分析可知，之前不合理的P(敲声=清脆∣好瓜=是)=80=0P(敲声=清脆|好瓜=是)=\frac{8}{0}=0P(敲声=清脆∣好瓜=是)= 8/0 =0在进行拉普拉斯平滑后为：

显然结果不是0，使结果变得合理。

优缺点

优点

1. 朴素贝叶斯模型有稳定的分类效率。

2. 对小规模的数据表现很好，能处理多分类任务，适合增量式训练，尤其是数据量超出内存时，可以一批批的去增量训练。

3. 对缺失数据不太敏感，算法也比较简单，常用于文本分类。

缺点

1. 理论上，朴素贝叶斯模型与其他分类方法相比具有最小的误差率。但是实际上并非总是如此，这是因为朴素贝叶斯模型给定输出类别的情况下,假设属性之间相互独立，这个假设在实际应用中往往是不成立的，在属性个数比较多或者属性之间相关性较大时，分类效果不好。而在属性相关性较小时，朴素贝叶斯性能最为良好。对于这一点，有半朴素贝叶斯之类的算法通过考虑部分关联性适度改进。

2. 需要知道先验概率，且先验概率很多时候取决于假设，假设的模型可以有很多种，因此在某些时候会由于假设的先验模型的原因导致预测效果不佳。

3. 由于我们是通过先验和数据来决定后验的概率从而决定分类，所以分类决策存在一定的错误率。

4. 对输入数据的表达形式很敏感。

sklearn参数详解

高斯朴素贝叶斯算法是假设特征的可能性(即概率)为高斯分布。

class sklearn.naive_bayes.GaussianNB(priors=None)

参数：

1. priors : 先验概率大小，如果没有给定，模型则根据样本数据自己计算（利用极大似然法）。

2. var_smoothing：可选参数，所有特征的最大方差

属性：

3. class_prior_ : 每个样本的概率

4. class_count : 每个类别的样本数量

5. classes_ : 分类器已知的标签类型

6. theta_ : 每个类别中每个特征的均值

7. sigma_ : 每个类别中每个特征的方差

8. epsilon_ : 方差的绝对加值方法

贝叶斯的方法和其他模型的方法一致

1. fit(X,Y) : 在数据集(X,Y)上拟合模型。

2. get_params() : 获取模型参数。

3. predict(X) : 对数据集X进行预测。

4. predict_log_proba(X) : 对数据集X预测，得到每个类别的概率对数值。

5. predict_proba(X) : 对数据集X预测，得到每个类别的概率。

6. score(X,Y) : 得到模型在数据集(X,Y)的得分情况。

构建朴素贝叶斯模型

这里采用GaussianNB 高斯朴素贝叶斯,概率密度函数为：

import numpy as npimport pandas as pdimport matplotlib.pyplot as plt%matplotlib inline
from sklearn.datasets import load_irisfrom sklearn.model_selection import train_test_split
from collections import Counterimport mathimport math

# datadef create_data(): iris = load_iris() df = pd.DataFrame(iris.data, columns=iris.feature_names) df['label'] = iris.target df.columns = ['sepal length', 'sepal width', 'petal length', 'petal width', 'label'] data = np.array(df.iloc[:100, :]) # print(data)    return data[:,:-1], data[:,-1]

import mathclass NaiveBayes: def __init__(self): self.model = None
 # 数学期望 @staticmethod def mean(X): """计算均值 Param: X : list or np.ndarray  Return: avg : float  """ avg = 0.0 # ========= show me your code ================== avg = sum(X) / float(len(X)) # ========= show me your code ================== return avg
 # 标准差（方差） def stdev(self, X): """计算标准差 Param: X : list or np.ndarray  Return: res : float  """ res = 0.0 # ========= show me your code ================== avg = self.mean(X) res = math.sqrt(sum([pow(x - avg, 2) for x in X]) / float(len(X))) # ========= show me your code ================== return res  # 概率密度函数 def gaussian_probability(self, x, mean, stdev): """根据均值和标注差计算x符号该高斯分布的概率 Parameters: ---------- x : 输入 mean : 均值 stdev : 标准差  Return:  res : float， x符合的概率值  """ res = 0.0 # ========= show me your code ================== exponent = math.exp(-(math.pow(x - mean, 2) / (2 * math.pow(stdev, 2)))) res = (1 / (math.sqrt(2 * math.pi) * stdev)) * exponent # ========= show me your code ==================  return res  # 处理X_train def summarize(self, train_data): """计算每个类目下对应数据的均值和标准差 Param: train_data : list  Return : [mean, stdev] """ summaries = [0.0, 0.0] # ========= show me your code ================== summaries = [(self.mean(i), self.stdev(i)) for i in zip(*train_data)]  # ========= show me your code ================== return summaries
 # 分类别求出数学期望和标准差 def fit(self, X, y): labels = list(set(y)) data = {label: [] for label in labels} for f, label in zip(X, y): data[label].append(f) self.model = { label: self.summarize(value) for label, value in data.items() } return 'gaussianNB train done!'
 # 计算概率 def calculate_probabilities(self, input_data): """计算数据在各个高斯分布下的概率 Paramter: input_data : 输入数据  Return: probabilities : {label : p} """ # summaries:{0.0: [(5.0, 0.37),(3.42, 0.40)], 1.0: [(5.8, 0.449),(2.7, 0.27)]} # input_data:[1.1, 2.2] probabilities = {} # ========= show me your code ================== for label, value in self.model.items(): probabilities[label] = 1 for i in range(len(value)): mean, stdev = value[i] probabilities[label] *= self.gaussian_probability( input_data[i], mean, stdev) # ========= show me your code ================== return probabilities
 # 类别 def predict(self, X_test): # {0.0: 2.9680340789325763e-27, 1.0: 3.5749783019849535e-26} label = sorted(self.calculate_probabilities(X_test).items(), key=lambda x: x[-1])[-1][0] return label # 计算得分 def score(self, X_test, y_test): right = 0 for X, y in zip(X_test, y_test): label = self.predict(X) if label == y: right += 1
        return right / float(len(X_test))

model = NaiveBayes()model.fit(X_train, y_train)print(model.predict([3.4, 6.2, 2.0, 0.3]))model.score(X_test, y_test)

“为沉迷学习点赞↓

以上是关于贝叶斯网络，看完这篇我终于理解了(附代码)！的主要内容，如果未能解决你的问题，请参考以下文章

R语言中贝叶斯网络（BN）动态贝叶斯网络线性模型分析错颌畸形数据|附代码数据

太赞了！机器学习基础核心算法：贝叶斯分类！(附西瓜书案例及代码实现)

机器学习实战3：基于朴素贝叶斯实现单词拼写修正器(附Python代码)

R语言用贝叶斯线性回归贝叶斯模型平均 (BMA)来预测工人工资|附代码数据

机器学习：基于朴素贝叶斯实现单词拼写修正器(附Python代码)

从零开始的AI·朴素贝叶斯？拿来吧你（附实例代码）

贝叶斯网络，看完这篇我终于理解了(附代码)！

太赞了！机器学习基础核心算法：贝叶斯分类！(附西瓜书案例及代码实现)

知识框架

相关概念

先验概率、条件概率

贝叶斯决策理论

贝叶斯公式

极值问题情况下每个类的分类概率

下溢问题如何解决

零概率问题如何解决？

优缺点

sklearn参数详解