0x25 numpy实战，PCA降维

Posted 2021-12-31 liu247

0０ 个人总结

　　PCA(主成分分析法)目的：

　　　　　1.降低特征间个数，减少的计算量

　　　　　2.降低特征之间的相关性，使特征之间更加的独立

　　　　　3.减少噪声对数据的影响，使模型更加的稳定

　　　　　4.方便数据的可视化

　　简单步骤：

　　　　1.对数据进行零均值化处理

　　　　2.计算协方差矩阵

　　　　3.计算特征值和特征向量

　　　　4.找到n个特征值和对应的特征向量

　　　　5.将数据映射到n个特征向量的空间中实现降维

　　注意：

　　　　降维后的２维不是从原来的４维中选择了２维，而是在原来的４维中映射到了２维空间n中，数据会有一定的误差，至于丢多少这个以后在讨论吧

０１numpy实现方法

import numpy as np
from sklearn.datasets import load_iris

# 加载数据集
iris = load_iris()
data = iris.data
#将数据０标准化
print(data[:5,:])
mean_val = np.mean(data,axis=0)
print(mean_val)
meaned_data = data - mean_val
# 几乎都是０　十分的近似于０
print(‘Feature mean:‘,np.mean(meaned_data,axis=0))
print(‘\n‘,meaned_data[:5,:])

# [[4.1 3.5 1.4 0.2]
#  [4.9 3.  1.4 0.2]
#  [4.7 3.2 1.3 0.2]
#  [4.6 3.1 1.5 0.2]
#  [5.  3.6 1.4 0.2]]
# [5.84333333 3.05733333 3.758      1.19933333]
# Feature mean: [-1.12502600e-15 -7.60872846e-16 -2.55203266e-15 -4.48530102e-16]
# 0,0,0,0,
#  [[-0.74333333  0.44266667 -2.358      -0.99933333]
#  [-0.94333333 -0.05733333 -2.358      -0.99933333]
#  [-1.14333333  0.14266667 -2.458      -0.99933333]
#  [-1.24333333  0.04266667 -2.258      -0.99933333]
#  [-0.84333333  0.54266667 -2.358      -0.99933333]]

# 计算协方差矩阵
cov_mat = np.cov(meaned_data,rowvar=False)
print(‘Shape:‘,cov_mat.shape)
print(cov_mat)

#Shape: (4, 4)
#[[ 0.68569351 -0.042434    1.27431544  0.51627069]
# [-0.042434    0.18997942 -0.32965638 -0.12163937]
# [ 1.27431544 -0.32965638  3.11627785  1.2956094 ]
# [ 0.51627069 -0.12163937  1.2956094   0.58100626]]

# 计算特征值和特征向量
eig_vals,eig_vects = np.linalg.eig(np.mat(cov_mat))

print(‘特征值‘,eig_vals)
print(‘特征向量‘,eig_vects)

sorted_index = np.argsort(-eig_vals) # 对特征值从大到小排序
print(‘排序的索引‘,sorted_index)

# 取最大的２个特征索引
topn_index = sorted_index[:2]
print(‘最大的２个特征索引‘,topn_index)

topn_vects = eig_vects[:,topn_index] # 最大的n个特征值对应的特征向量
print(‘最大的２个特征，对应的维特征向量\n‘,topn_vects) 
# 特征值 [4.22824171 0.24267075 0.0782095  0.02383509]
# 特征向量 [[ 0.36138659 -0.65658877 -0.58202985  0.31548719]
#  [-0.08452251 -0.73016143  0.59791083 -0.3197231 ]
#  [ 0.85667061  0.17337266  0.07623608 -0.47983899]
#  [ 0.3582892   0.07548102  0.54583143  0.75365743]]
# 排序的索引 [0 1 2 3]
# 最大的２个特征索引 [0 1]
# 最大的２个特征，对应的维特征向量
#  [[ 0.36138659 -0.65658877]
#  [-0.08452251 -0.73016143]
#  [ 0.85667061  0.17337266]
#  [ 0.3582892   0.07548102]]

# 将数据映射降维
pca_data = meaned_data * topn_vects # 投影到低维空间
print(‘降低维度后的数据\n‘,pca_data[:5,:])

recon_data = (pca_data * topn_vects.T)+mean_val # 重构数据
print(‘还原后的数据\n‘,recon_data)

02　sklean　实现

# 使用sklean实现
from sklearn.decomposition import PCA
# 压缩为２维数据
pca = PCA(n_components=2)
print(‘模型：‘,pca)
feature2 =pca.fit_transform(data)
print(‘特征值的比例:‘,pca.explained_variance_ratio_)
print(‘降维后的占比:‘,sum(pca.explained_variance_ratio_))

print(‘降维后的数据：\n‘,feature2[:5,:])
# 模型： PCA(copy=True, iterated_power=‘auto‘, n_components=2, random_state=None,
#   svd_solver=‘auto‘, tol=0.0, whiten=False)
# 特征值的比例: [0.92461872 0.05306648]
# 降维后的占比: 0.9776852063187949
# 降维后的数据：
#  [[-2.68412563  0.31939725]
#  [-2.71414169 -0.17700123]
#  [-2.88899057 -0.14494943]
#  [-2.74534286 -0.31829898]
#  [-2.72871654  0.32675451]]