高斯判别分析 Gaussian Discriminant Analysis
Posted
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了高斯判别分析 Gaussian Discriminant Analysis相关的知识，希望对你有一定的参考价值。
如果在我们的分类问题中，输入特征xx是连续型随机变量，高斯判别模型(Gaussian Discriminant Analysis,GDA)就可以派上用场了。
以二分类问题为例进行说明，模型建立如下：
- 样本输入特征为x∈Rnx∈Rn,其类别y∈{0,1}y∈{0,1}；
- 样本类别yy服从参数为??的伯努力分布，即y∼Bernoulli(?)y∼Bernoulli(?)；
- 两类样本分别服从不同的高斯分布，即x|y=0∼N(μ0,Σ),x|y=1∼N(μ1,Σ)x|y=0∼N(μ0,Σ),x|y=1∼N(μ1,Σ)；
对应的概率分布形式如下：
p(y)=?y(1−?)1−y(1)(1)p(y)=?y(1−?)1−y
p(x|y=0)=1(2π)n2|Σ|12exp(−12(x−μ0)TΣ−1(x−μ0))(2)(2)p(x|y=0)=1(2π)n2|Σ|12exp?(−12(x−μ0)TΣ−1(x−μ0))
p(x|y=1)=1(2π)n2|Σ|12exp(−12(x−μ1)TΣ−1(x−μ1))(3)(3)p(x|y=1)=1(2π)n2|Σ|12exp?(−12(x−μ1)TΣ−1(x−μ1))
p(x|y)=1(2π)n2|Σ|12exp(−12(x−μy)TΣ−1(x−μy))(4)(4)p(x|y)=1(2π)n2|Σ|12exp?(−12(x−μy)TΣ−1(x−μy))
我们模型的参数包括?,μ0,μ1,Σ?,μ0,μ1,Σ。这里的两个高斯分布具有不同的均值μ0μ0和μ1μ1，但在实际应用中一般取相同的方差ΣΣ。
给定包含mm个样本的训练集S={(x(1),y(1)),(x(2),y(2)),?,(x(m),y(m))}S={(x(1),y(1)),(x(2),y(2)),?,(x(m),y(m))}，似然函数形式如下：
L(?,μ0,μ1,Σ)=log∏mi=1p(x(i),y(i);?,μ0,μ1,Σ)=log∏mi=1p(x(i)|y(i);μ0,μ1,Σ)p(y(i);?)=∑mi=1logp(x(i)|y(i);μ0,μ1,Σ)+logp(y(i);?)=∑mi=1[−12(x(i)−μy(i))TΣ−1(x(