降维技术

Posted dy9776

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了降维技术相关的知识,希望对你有一定的参考价值。

1.1 降维的必要性

1. 多重共线性--预测变量之间相互关联。多重共线性会导致解空间的不稳定,从而可能导致结果的不连贯。

2. 高维空间本身具有稀疏性。一维正态分布有68%的值落于正负标准差之间,而在十维空间上只有0.02%。

3. 过多的变量会妨碍查找规律的建立。

4. 仅在变量层面上分析可能会忽略变量之间的潜在联系。例如几个预测变量可能落入仅反映数据某一方面特征的一个组内。

1. 2 降维的目的:

1. 减少预测变量的个数

2. 确保这些变量是相互独立的

3. 提供一个框架来解释结果

1. 3 降维的方法:

  • 主成分分析(PCA)
    • 从原来的坐标系转换到了新的坐标系,新坐标系的选择是由数据本身决定的
    • 第一个新坐标轴选择的是原始数据中方差最大的方向,第二个新坐标轴的选择和第一个坐标轴正交且具有最大方差的方向 
    • 该过程一直重复,重复次数为原始数据中特征的数目。 
    • 我们会发现,大部分方差都包含在最前面的几个新坐标轴中。因此,我们可以忽略余下的坐标轴,即对数据进行了降维处理 
  • 因子分析(Factor Analysis)
    • 我们假设在观察数据的生成中有一些观察不到的隐变量( latentvariable)。
    • 假设观察数据是这些隐变量和某些噪声的线性组合。那么隐变量的数据可能比观察数据的数目少,也就是说通过找到隐变量就可以实现数据的降维。
    • 因子分析已经应用于社会科学、金融和其他领域中了。
  • 独立成分分析(Independent Component Analysis ICA) 
    • 假设数据是从N个数据源生成的,这一点和因子分析有些类似,假设数据为多个数据源的混合观察结果。
    • 这些数据源之间在统计上是相互独立的,而在PCA中只假设数据是不相关的。
    • 同因子分析一样,如果数据源的数目少于观察数据的数目,则可以实现降维过程。 

 

(1)PCA

        http://www.cnblogs.com/nucdy/p/8267483.html

以上是关于降维技术的主要内容,如果未能解决你的问题,请参考以下文章

使用管道和 GridSearchCV 的多维降维技术

数据降维技术—奇异值分解(SVD)

降维技术

机器学习中必知必会的 8 种降维技术,最后一款超硬核!

LDA和PCA降维总结

机器学习算法-PCA降维技术