机器学习入门-贝叶斯垃圾邮件过滤(原理)

Posted 2021-02-04 my-love-is-python

贝叶斯里面的参数原理

最大似然： 即最符合观测数据的最有优势，即p(D|h)最大

奥卡姆剃刀：即越常见的越有可能发生，即p(h) 表示的是先验概率

最大似然：

当我们投掷一枚硬币，观测到的是正面，那么我们猜测投掷正面的概率为1，即最大似然值的概率是最大的

奥卡姆剃刀：

如果平面上有N个点，我们使用n-1阶的函数可以拟合出任何一个点，但是越高阶的曲线越不常见，因此p(N-1) << p(1) 和p(2) 一阶和二阶的概率

实例：垃圾分类的实例

p(h+|D) = p(D|h+) * p(h+) / p(D)  h+ 表示的是垃圾邮件， D表示的是一封邮件里面的词

这个公式表示的含义： p(h+) 表示的是垃圾邮件的概率， p(D|h+) 表示是邮件里面的词与垃圾邮件的相似度，这里使用的可以是词频化的向量也可以tf-dif的向量

相似度的比较的话，这里使用的余弦定理

p(d1, d2, d3...|h+) = p(d1|h+) * p(d2|d1, h+)... 

为了方便计算我们使用朴素贝叶斯来进行计算

p(d1, d2, d3..|h+) = p(d1|h+) * p(d2|h+) * p(d3|h+) .... p(d3|h+) 表示这个词在垃圾邮件出现的概率， 我们可以使用相似度来进行计算