《统计学习方法》笔记--朴素贝叶斯
Posted 兜里有糖心里不慌
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了《统计学习方法》笔记--朴素贝叶斯相关的知识，希望对你有一定的参考价值。
《统计学习方法》第四章–朴素贝叶斯
朴素贝叶斯概述
朴素贝叶斯法是基于贝叶斯定理与特征条件独立假设的分类方法。通过给定的训练数据集，首先基于特征条件独立的假设学习输入输出的联合概率分布，然后基于此模型，对于给定的 x x x，利用贝叶斯定理求出后验概率最大的输出 y y y
朴素贝叶斯法
输入：训练数据 T = ( x 1 , y 1 ) , ( x 2 , y 2 ) . . . ( x N , y N ) ; T=\\(x_1,y_1),(x_2,y_2)...(x_N,y_N)\\; T=(x1,y1),(x2,y2)...(xN,yN);其中 x i = ( x i ( 1 ) , x i 2 ) , . . . , x i ( n ) ) T ; x_i=(x_i^(1),x_i^2),...,x_i^(n))^T; xi=(xi(1),xi2),...,xi(n))T; x i ( j ) 是 第 i 个 样 本 的 第 j 个 特 征 ， x i ( j ) ∈ a j 1 , a j 2 , . . . , a j S j , a j l 是 第 j 个 特 征 可 能 取 得 第 l 个 值 ， j = 1 , 2 , 3... , n ; l = 1 , 2 , . . . S j ; y i ∈ c 1 , c 2 , . . . , c K ; 实 例 x x_i(j)是第i个样本的第j个特征，x_i(j)\\in \\a_j1,a_j2,...,a_jS_j\\,a_jl是第j个特征可能取得第l个值，j=1,2,3...,n;l=1,2,...S_j;y_i\\in\\c_1,c_2,...,c_K\\;实例x xi(j)是第i个样本的第j个特征，xi(j)∈aj1,aj2,...,ajSj,ajl是第j个特征可能取得第l个值，j=1,2,3...,n;l=1,2,...Sj;yi∈c1,c2,...,cK;实例x
输出：实例 x x x的分类
(1) 根据给出的训练集计算先验概率和条件概率 P ( Y = c k ) = ∑ i = 1 N I ( y i = c k ) N , k = 1 , 2 , . . . , K − − − − 在 给 定 训 练 集 中 c k 类 的 概 率 P(Y=c_k)=\\frac\\sum_i=1^NI(y_i=c_k)N,k=1,2,...,K----在给定训练集中c_k类的概率 P(Y=ck)=N∑i=1NI(yi=ck),k=1,2,...,K−−−−在给定训练集中ck类的概率 P ( X ( j ) = a j l ∣ Y = c k ) = ∑ i = 1 N I ( x i ( j ) = a j l , y i = c k ) ∑ i = 1 N I ( y i = c k ) − − − − 在 给 定 训 练 集 中 ， 已 知 为 c k 类 时 ， 第 j 个 特 征 取 值 为 a j l 的 概 率 P(X^(j)=a_jl|Y=c_k)=\\frac\\sum_i=1^NI(x_i^(j)=a_jl,y_i=c_k)\\sum_i=1^NI(y_i=c_k)----在给定训练集中，已知为c_k类时，第j个特征取值为a_jl的概率 P(X(j)=ajl∣Y=ck)=∑i=1NI(yi=ck)∑i=1NI(xi(j)=ajl,yi=ck)−−−−在给定训练集中，已知为ck类时，第j个特征取值为ajl的概率 j = 1 , 2 , . . . , n ; l = 1 , 2 , . . . , S j ; k = 1 , 2... , K j=1,2,...,n;l=1,2,...,S_j;k=1,2...,K j=1,2,...,n;l=1,2,...,Sj;k=1,2...,K
(2) 对于给定实例 x = ( x ( 1 ) , x ( 2 ) , . . . , x ( n ) ) T , x=(x^(1),x^(2),...,x^(n))^T, x=(x(1),x(2),...,x机器学习笔记——朴素贝叶斯构建“饥饿站台”豆瓣短评情感分类器