机器学习002-LDA与KNDA

Posted 2021-01-11 zzzack

参考：LDA kernel LDA

kernel LDA 用到了散度(scatter)的概念，目标是使样本点在高维空间中的投影满足：类内散度最小，类间散度最大。即：
[ J(W^phi)=argmax_{(W^phi)}frac{W^{phi T} S_b^phi W^phi}{W^{phi T} S_w^phi W^phi}\begin{align} 其中，&phi 表示高维空间下的;&S_b^phi类间散度，S_b^phi=sum_{i=1}^{C}N_i(mu_i-mu)(mu_i-mu)^T; &S_w^phi类内散度，S_w^phi=sum_{i=1}^{C}sum_{phi(x_j)∈X_i}(phi(x_j)-mu_i)(phi(x_j)-mu_i)^T;&W^phi是单位正交化的特征向量矩阵，即高维空间中的坐标轴w^phi，&w^phi=sum_{i=1}^Nalpha_iphi(x_i)这是未知的，难以直接计算的，需要借助核函数。\end{align} ]
将核函数引入之后：
[ J(alpha)=argmax_{(alpha)}frac{|alpha^TG_balpha|}{|alpha^TG_walpha|}\begin{align} 其中，&G_b=sum_{i=1}^{C}N_i(m_i-overline m)(m_i-overline m)^T&G_w=sum_{i=1}^{C}sum_{K_j∈X_i}(K_j-m_i)(K_j-m_i)^T&m_i=frac{1}{N_i}sum_{j=1}{N_i}K_j&K_j=(k(x_i,x_1),...,k(x_i,x_N))^T&K_j为核函数矩阵的一个列向量 end{align}\]