PCA(手写原理)及其Python实现

Posted Raymond_桐

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了PCA(手写原理)及其Python实现相关的知识,希望对你有一定的参考价值。

1、背景

为什么需要降维呢?
因为数据个数 N 和每个数据的维度 p 不满足 N >> p,造成了模型结果的“过拟合”。有两种方法解决上述问题:

  1. 增加N;
  2. 减小p。

这里我们讲解的 PCA 属于方法2。

2、样本均值和样本方差矩阵


3、PCA


3.1 最大投影方差

3.2 最小重构距离

4、Python实现

"""
    -*- coding: utf-8 -*-
    @ Time     : 2021/8/15  22:19
    @ Author   : Raymond
    @ Email    : wanght2316@163.com
    @ Editor   : Pycharm
"""

from sklearn.datasets import load_digits
from sklearn.decomposition import PCA
import pandas as pd
import matplotlib.pyplot as plt


digits = load_digits()
print(digits.keys())
print("数据的形状为: {}".format(digits['data'].shape))

# 构建模型 - 降到10 d
pca = PCA(n_components=10)
pca.fit(digits.data)

projected=pca.fit_transform(digits.data)

print('降维后主成分的方差值为:',pca.explained_variance_)
print('降维后主成分的方差值占总方差的比例为:',pca.explained_variance_ratio_)
print('降维后最大方差的成分为:',pca.components_)
print('降维后主成分的个数为:',pca.n_components_)
print('original shape:',digits.data.shape)
print('transformed shape:',projected.shape)

s = pca.explained_variance_
c_s = pd.DataFrame({'b': s,'b_sum': s.cumsum() / s.sum()})

c_s['b_sum'].plot(style= '--ko',figsize= (10, 4))
plt.rcParams['font.sans-serif'] = ['SimHei']  # 指定默认字体
plt.rcParams['axes.unicode_minus'] = False  # 解决保存图像是负号'-'显示为方块的问题
plt.axhline(0.85,  color= 'r',linestyle= '--')
plt.text(6, c_s['b_sum'].iloc[6]-0.08, '第7个成分累计贡献率超过85%', color='b')
plt.title('PCA 各成分累计占比')
plt.grid()
plt.savefig('./PCA.jpg')
plt.show()

结果展示:

若有理解偏差的地方,请您谅解,也欢迎各位讨论。您的支持,就是我前进的动力。

以上是关于PCA(手写原理)及其Python实现的主要内容,如果未能解决你的问题,请参考以下文章

机器学习及与智能数据处理之降维算法PCA及其应用手写识别自定义数据集

Python实验--手写KNN+PCA实现药品聚类和手写字识别

[python机器学习及实践]Sklearn实现主成分分析(PCA)

PCA主成分分析 原理讲解 python代码实现

主成分分析(PCA)及其可视化——python

PCA人脸识别的python实现