特征工程-主成分分析PCA

Posted 2022-12-07 吾仄lo咚锵

文章目录

• 简介
• 步骤
• • 均值
  • 协方差矩阵
  • 特征值和特征向量
  • 第一主成分
• python代码

简介

---

主成分分析（Principle Component Analysis，PCA）是常用的降维方法，用较少的互不相关的新变量来反映原变量所表示的大部分信息，有效解决维度灾难问题。

一种直观的解释是，主成分是对所有样本点的一种投影，且我们希望投影后可以尽可能的分开，即使得投影后样本点的方差最大化。不难理解，方差越大，越能反映数据特征。

上图摘自https://blog.csdn.net/qq_35164554/article/details/101058673

主成分分析包括如下几个步骤：

1. 计算均值
2. 计算协方差
3. 计算协方差矩阵对应的特征值和特征向量
4. 计算第n主成分及其贡献率

步骤

---

为方便说明，以如下数据集为例：

x1	x2
1	2
5	3

均值

求每个特征的均值：
$\overline{x_1}=\frac{1+5}{2}=3$

$\overline{x_2}=\frac{2+3}{2}=2.5$

协方差矩阵

协方差是用来表示两个变量的相关性的，比如正相关（x增大则y增大）、负相关（x增大y减小）和不相关。更多细节安利这个b站讲解如何通俗地解释协方差。

减去均值：
$x-\overline{x}=\left(\begin{array}{cc}-2& -0.5\\ 2& 0.5\end{array}\right)$

计算协方差s：
$$\begin{gathered} s=\frac{1}{n-1}(x-\overline{x}{)}^T(x-\overline{x}) \\ =\frac{1}{2-1}\left(\begin{array}{cc}-2& -0.5\\ 2& 0.5\end{array}\right)\left(\begin{array}{cc}-2& -0.5\\ 2& 0.5\end{array}\right) \\ =\left(\begin{array}{cc}8& 2\\ 2& 0.5\end{array}\right) \end{gathered}$$

特征值和特征向量

需要亿点点线性代数知识，计算特征值和特征向量。

求特征值$\lambda$：
令$|s-\lambda E|=\left|\begin{array}{cc}8-\lambda & 2\\ 2& 0.5-\lambda \end{array}\right|=0$
$(8-\lambda )(0.5-\lambda )-4=0$

得${\lambda }_1=0,{\lambda }_2=8.5$。

将${\lambda }_1=0$带回$|s-\lambda E|=$$\left(\begin{array}{cc}8& 2\\ 2& 0.5\end{array}\right)$，正交单位化得特征向量$e_1=(\frac{1}{\sqrt{17}},\frac{-4}{\sqrt{17}}{)}^T$。

将${\lambda }_2=8.5$带回$|s-\lambda E|=$$\left(\begin{array}{cc}-0.5& 2\\ 2& -8\end{array}\right)$，正交单位化得特征向量$e_2=(\frac{4}{\sqrt{17}},\frac{1}{\sqrt{17}}{)}^T$。

（插播反爬信息 ）博主CSDN地址：https://wzlodq.blog.csdn.net/

第一主成分

将特征向量从大到小排序$({\lambda }_2>{\lambda }_1)$，依次得到第N主成分。

如第一主成分为 Y 1 = e 2 T x = 4 17 x 1 + 1 17 x 2 Y_1=e_2^Tx=\\frac4\\sqrt17x_1+\\frac1\\sqrt17x_2 Y1​=e以上是关于特征工程-主成分分析PCA的主要内容，如果未能解决你的问题，请参考以下文章

主成分分析（PCA）简介

PCA(主成分分析) 一

PCA（主成分分析）和特征选择之间的区别

主成分分析（PCA），用Matlab和SAS、SPSS结果不一样，后二者一样。但三者的特征值一样，特征向量正负不一

PCA分析（主成分分析）--结果解读

认识与了解主成分析PCA