机器学习:PCA(实例:MNIST数据集)

Posted volcao

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了机器学习:PCA(实例:MNIST数据集)相关的知识,希望对你有一定的参考价值。

一、数据

  • 获取数据
    import numpy as np
    from sklearn.datasets import fetch_mldata
    
    mnist = fetch_mldata("MNIST original")
  1. sklearn 的 datasets 中,一个特有的方法:fetch_mldata,使用此方法可以直接从一个官方网站中下载各种机器学习数据;
  2. 格式:datas = fetch_mldata("字符串");

 

  • 查看数据
    mnist
    # 输出:
    {COL_NAMES: [label, data],
     DESCR: mldata.org dataset: mnist-original,
     data: array([[0, 0, 0, ..., 0, 0, 0],
            [0, 0, 0, ..., 0, 0, 0],
            [0, 0, 0, ..., 0, 0, 0],
            ...,
            [0, 0, 0, ..., 0, 0, 0],
            [0, 0, 0, ..., 0, 0, 0],
            [0, 0, 0, ..., 0, 0, 0]], dtype=uint8),
     target: array([0., 0., 0., ..., 9., 9., 9.])}
  1.  mnist 是一个字典:‘COL_NAMES‘、‘DESCR‘、‘data‘、‘target‘;
  2. ‘DESCR‘:表示 MNIST 数据集所在的网站;

 

  • 处理数据
    X, y = mnist[data], mnist[target]
    
    X.shape
    # 输出:(70000, 784)
    
    X_train = np.array(X[:60000], dtype=float)
    y_train = np.array(y[:60000], dtype=float)
    X_test = np.array(X[60000:], dtype=float)
    y_test = np.array(y[60000:], dtype=float)
  1. 此处没有进行数据归一化处理,因为现在的样本数据整体来说都表示图像中相应的一个像素点的亮度,也就是说,虽然整体数据没有进行归一化处理,但他们还在同一个尺度上,所以此数据集不需要进行归一化处理;
  2. 数据归一化的主要意义:当数据的尺度不同时,要把数据放在同一个尺度上;

 

 

二、算法

 

  • 使用 kNN 算法进行识别操作(数据不降维)
    from sklearn.neighbors import KNeighborsClassifier
    
    knn_clf = KNeighborsClassifier()
    %time knn_clf.fit(X_train, y_train)
    # 输出:44.9 s
    
    
    knn_clf.score(X_test, y_test)
    # 输出:0.9688
  1. kNN 算法中还需要进行调参:k、weight

 

 

  • 使用 kNN算法进行识别操作(PCA降维数据)
    from sklearn.decomposition import PCA
    
    # 只保留样本的 90% 的信息
    pca = PCA(0.9)
    
    pca.fit(X_train)
    X_train_reduction = pca.transform(X_train)
    
    X_train_reduction.shape
    # 输出:(60000, 87)
    
    
    knn_clf = KNeighborsClassifier()
    %time knn_clf.fit(X_train_reduction, y_train)
    # 输出:602 s
    
    
    X_test_reduction = pca.transform(X_test)
    %time knn_clf.score(X_test_reduction, y_test)
    # 输出:1 min  27 s      0.9728
  1. PCA(0.9):只保留样本的 90% 的信息,也就是能解释 90% 原是数据方差的前 n 个主成分;
  2. (60000, 87):将样本从 784 维,降低至 87 维,保留了样本 90% 的信息;

 

 

  • 分析:数据使用 PCA 降维前后的效果
  1. 现象:识别准确度提高了,预测时间缩短了;
  2. 使用 PCA 将数据降维后的优点:识别准确度提高了,预测时间缩短了,减小了数据和存储空间;
  3. 疑问:为什么 PCA 的过程中丢失了 10% 的信息,识别准确度反而提高了?
  4. 答疑:实际上 PCA 这个过程中,不仅仅对原始数据进行了降维,更有可能在降维的过程中将原有的数据所包含的噪音消除了,使得数据集中更好的特征,以至于识别准确率得到提升;

以上是关于机器学习:PCA(实例:MNIST数据集)的主要内容,如果未能解决你的问题,请参考以下文章

机器学习及与智能数据处理之降维算法PCA及其应用手写识别自定义数据集

MNIST机器学习数据集

机器学习算法专题(蓄力计划)二十实操代码MNIST 数据集

2019-07-31机器学习无监督学习之降维PCA算法实例 (鸢尾花)

pca算法介绍及简单实例

主成分分析法