分类---概率生成模型

Posted terrypython

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了分类---概率生成模型相关的知识,希望对你有一定的参考价值。

一 分类概述

技术分享图片

二 分类实例

现在我们以宝可梦为例,宝可梦共有18中属性,如下:

技术分享图片

上边的宝可梦输入是形象化的表示,我们应该讲宝可梦以计算机可以识别的数值进行输入

技术分享图片

那么可能我们会问,为什么我们要预测宝可梦的类型呢,这是因为不同类型的宝可梦相遇时,他们是有属性相克的关系。

技术分享图片

那么如何分类呢?我们之前提到过regression,可能会有人会按照regression的思路进行分类。

技术分享图片

如果你按照上边的方式进行,你会遇到如下问题

技术分享图片

那么我们应该怎么做呢?

技术分享图片

本次不采用Perceptron 与 SVM,用另一种方式解决这个问题。

引子:

技术分享图片

由上边可以延伸出

技术分享图片

先算p(c1)与p(c2),这一部分叫做prior。

技术分享图片

接着算p(x | c1),如下:

技术分享图片

技术分享图片

下边简单的介绍高斯分布


技术分享图片

技术分享图片


 

技术分享图片

那么怎么找到这个高斯分布呢?---->使用Maximum Likelihood

技术分享图片

技术分享图片

现在我们算我们实例的真正结果

技术分享图片

有了上述结果,我们就可以分类了,分类依据如下

技术分享图片

真实结果:从左至右,从上往下,第一张图是water 和normal 宝可梦的分布,第二张图是分类结果,第三个是在测试集上的分类结果,其中正确率只有47%,我们增加特征值,考虑7个维度的特征,最后结果的正确率也只有54%

技术分享图片

这时候我们就应该将model优化

技术分享图片

 技术分享图片

优化后的model结果如下:考虑7个特征,分类准确率由之前的54%上升到73%,确实性能优化。

技术分享图片

现在我们回顾整个的思路

技术分享图片

可能会有人问,为什么选高斯分布呢,当然也可以选择其他的分布

技术分享图片

后验概率

技术分享图片

补充一些高数知识


 

技术分享图片

技术分享图片

技术分享图片


将sigmoid简化

技术分享图片

最后可能会有这样的疑惑,在generative model里面,我们找到N1,N2,u1,u2,∑,得到w和b,然后就可以算概率。为什么我们不直接得到w和b呢?---->logistics regression会讲直接得到w 和b。

参考:http://speech.ee.ntu.edu.tw/~tlkagk/courses/ML_2016/Lecture/Classification%20(v3).pdf

 

以上是关于分类---概率生成模型的主要内容,如果未能解决你的问题,请参考以下文章

分类:概率生成模型 - 李宏毅机器学习笔记

分类:概率生成模型 - 李宏毅机器学习笔记

分类:概率生成模型 - 李宏毅机器学习笔记

分类---概率生成模型

西瓜书学习—贝叶斯分类器(上)

机器学习入门系列05,Classification: Probabilistic Generative Model(分类:概率生成模型)