PCA是什么,神经网络中白化是什么,神经网络中shuffle是什么

Posted 2022-11-27

 PCA是什么

pca是指主成分分析技术，又称主分量分析。 主成分分析也称主分量分析，旨在利用降维的思想，把多指标转化为少数几个综合指标。 在统计学中，主成分分析PCA是一种简化数据集的技术。它是一个线性变换。这个变换把数据变换到一个新的坐标系统中，使得任何数据投影的第一大方差在第一个坐标(称为第一主成分)上，第二大方差在第二个坐标(第二主成分)上，依次类推。

神经网络中白化是什么

白化操作，是将各向异性的特征(每一列是一个特征，每一行是一条数据)，转化为各向同性，大家(不同特征)在一个尺度下。既然原始的特征，各自的分布在空间中拥有不同的“旋转”和“拉伸”，那么我们找到每一个特征相对于“标准正交基”的“旋转”和“拉伸”，进行反向操作，大家就都又恢复到了“同一个尺度”下。

白化这个词，可能在深度学习领域比较常遇到，挺起来就是高大上的名词，然而其实白化是一个比PCA稍微高级一点的算法而已，所以如果熟悉PCA，那么其实会发现这是一个非常简单的算法。

白化的目的

是**去除输入数据的冗余信息。**假设训练数据是图像，由于图像中相邻像素之间具有很强的相关性，所以用于训练时输入是冗余的；白化的目的就是降低输入的冗余性。
输入数据集X，经过白化处理后，新的数据X满足两个性质：
(1)特征之间相关性较低；
(2)所有特征具有相同的方差。
其实我们之前学的PCA算法中，可能PCA给我们的印象是一般用于降维操作。然而其实PCA如果不降维，而是仅仅使用PCA求出特征向量，然后把数据X映射到新的特征空间，这样的一个映射过程，其实就是满足了我们白化的第一个性质：除去特征之间的相关性。因此白化算法的实现过程，第一步操作就是PCA，求出新特征空间中X的新坐标，然后再对新的坐标进行方差归一化操作。

白化分为PCA白化、ZCA白化，

神经网络中shuffle是什么

shuffle（中文意思：洗牌，混乱）。shuffle在机器学习与深度学习中代表的意思是，将训练模型的数据集进行打乱的操作。
原始的数据，在样本均衡的情况下可能是按照某种顺序进行排列，如前半部分为某一类别的数据，后半部分为另一类别的数据。但经过打乱之后数据的排列就会拥有一定的随机性，在顺序读取的时候下一次得到的样本为任何一类型的数据的可能性相同。

优化算法SGD，Adam

​编辑