主成分分析(PCA)与线性判别分析(LDA)

Posted 2020-11-22 weilonghu

主成分分析

• 线性、非监督、全局的降维算法

PCA最大方差理论

• 出发点：在信号处理领域，信号具有较大方差，噪声具有较小方差

• 目标：最大化投影方差，让数据在主投影方向上方差最大

• PCA的求解方法：

  • 对样本数据进行中心化处理

  • 求样本协方差矩阵

  • 对协方差矩阵进行特征分解，将特征值从大到小排列

  • 取特征值前d大对应的特征向量(w_1, w_2, cdots, w_d),通过以下变换将n维样本映射到d维

    [x^{'}_i = egin{bmatrix} w_1^{T}x_i \ w_2^Tx_i \ cdots \ w_d^Tx_i end{bmatrix}]

    新的(x^{'}_i) 的第d维就是(x_i)在第d个主成分(w_d)方向上的投影

• 局限性：

  • 线性降维
  • 通过核映射对PCA进行扩展得到核主成分分析（KPCA）

PCA最小平方误差理论

• 出发目标：找到一个d维超平面，使得数据点到这个超平面的距离平方和最小

• 优化目标：

  [egin{aligned} mathop{argmin}_{w_1, dots, w_d} sum limits_{k=1}^{n}||x_k - ilde{x}_k||_2 \ s.t. quad w_i^Tw_j = egin{cases} 1, i = j \ 0, i eq j end{cases} end{aligned}]

  ( ilde{x}_k)是投影向量

线性判别分析

二分类

• 监督降维方法（LDA）

• PCA算法没有考虑到数据标签，可能会导致映射后无法进行分类

• 中心思想：最大化类间距离和最小化类内距离

• 对于二分类

  • 类间散度矩阵：(S_B = (mu_1 - mu_2)(mu_1 - mu_2)^T)

  • 类内散度矩阵：(S_w = sum limits_{x in C_i}(x - mu_i)(x - mu_i)^T)

  • 优化目标：

    [J(w) = frac{w^T S_B w}{w^T S_w w} = lambda]

  • (S_w^{-1}S_Bw = lambda w) (J(w))对应了矩阵(S_w^{-1}S_B)最大的特征值，而投影方向就是这个特征值对应的特征向量

• 对数据分布做了强假设：每个类数据都是高斯分布、各个类的协方差相等

• 优点：线性模型对噪声的鲁棒性比较好

• 缺点：模型简单也有假设，可以通过引入核函数处理分布较复杂的数据

具有多个类别标签的高维数据LDA方法

• 计算数据集每个类别的均值(mu_j) 和总体均值(mu)

• 计算类内散度矩阵(S_w) ,全局散度矩阵(S_t) ,并得到类间散度矩阵(S_B = S_t - S_w)

• 对(S_w^{-1}S_B)矩阵进行特征值分解，将特征值从大到小排列

• 取特征值前d大对应的特征向量(w_1, w_2, cdots, w_d),通过以下变换将n维样本映射到d维

  [x^{'}_i = egin{bmatrix} w_1^{T}x_i \ w_2^Tx_i \ cdots \ w_d^Tx_i end{bmatrix}]

  新的(x^{'}_i) 的第d维就是(x_i)在第d个主成分(w_d)方向上的投影

PCA和LDA的区别与联系

• 联系：求解过程很类似

• 区别：

  • 数学原理
  • 优化目标
  • 应用场景：对无监督任务使用PCA降维，对有监督则使用LDA。
    • 从音频中提取语音信号，用PCA过滤掉噪声
    • 声纹识别，用LDA使每个人的声音信号具有区分性