PCA主成分分析

Posted 2021-01-25 geekdanny

主成分分析

PCA：principal component analysis
主成分分析是最常用的一种降维分析
目的：降低数据的复杂性，找到最有用的特征
降维：

• PCA
• FA 因子分析 factor analysis
• ICA 独立成分分析 independent component analysis

PCA概述：
将数据从原来的坐标系转换到新的坐标系，新坐标的选择和数据本身相关。第一个新坐标轴是原数据中方差最大的方向，第二个坐标选择和第一个坐标正交且具有最大方差的方向。

数据最大方差方向

方差最大，就是数据差异性最大
计算协方差矩阵&特征值分析

特征值分析

[A u=lambda u]
特征值(lambda)和特征向量( u)
可以使用Numpy中linalg模块的eig()

numpy.linalg.eig(a)
# Compute the eigenvalues and right eigenvectors of a square array.

from numpy import linalg as LA
w, v = LA.eig(np.diag((1, 2, 3)))
w; v
"""
array([ 1.,  2.,  3.])
array([[ 1.,  0.,  0.],
       [ 0.,  1.,  0.],
       [ 0.,  0.,  1.]])
"""