PCA-2 主成分与协方差矩阵的关系
Posted 丘文波
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了PCA-2 主成分与协方差矩阵的关系相关的知识，希望对你有一定的参考价值。
这篇博客主要介绍如何基于样本的协方差矩阵来求解样本的主成分。
1. 样本协方差矩阵
1.1 样本矩阵
假设对m维随机变量 x = ( x 1 , x 2 , ⋯ , x m ) T \\boldsymbolx=\\left(x_1, x_2, \\cdots, x_m\\right)^\\mathrmT x=(x1,x2,⋯,xm)T进行n次独立观测， x _ 1 , x _ 2 , ⋯ , x _ n x\\_1, x\\_2, \\cdots, x\\_n x_1,x_2,⋯,x_n表示观测样本，其中 x _ j = ( x 1 j , x 2 j , ⋯ , x m j ) T x\\_j=\\left(x_1 j, x_2 j, \\cdots, x_m j\\right)^\\mathrmT x_j=(x1j,x2j,⋯,xmj)T表示j个观测样本, x i j x_ij xij表示第j个样本的第i个变量， j = 1 , 2 , ⋯ , n j=1,2, \\cdots, n j=1,2,⋯,n。
X = [ x _ 1 x _ 2 ⋯ x _ n ] = [ x 11 x 12 ⋯ x 1 n x 21 x 22 ⋯ x 2 n ⋮ ⋮ ⋮ x m 1 x m 2 ⋯ x m n ] X=\\left[\\beginarrayllll x\\_1 & x\\_2 & \\cdots & x\\_n \\endarray\\right]=\\left[\\beginarraycccc x_11 & x_12 & \\cdots & x_1 n \\\\ x_21 & x_22 & \\cdots & x_2 n \\\\ \\vdots & \\vdots & & \\vdots \\\\ x_m 1 & x_m 2 & \\cdots & x_m n \\endarray\\right] X=[x_1x_2⋯x_n]=⎣⎢⎢⎢⎡x11x21⋮xm1x12x22⋮xm2⋯⋯⋯x1nx2n⋮xmn⎦⎥⎥⎥⎤
观察到在实际问题中, 不同维度的变量可能有不同的量纲, 直接求主成分有时会产生不合理的 结果。为了消除这个影响，常常对各个维度的变量实施规范化, 使其均值为 0, 方差为 1 。
在使用样本主成分时，一般假设样本数据是规范化的，即对样本矩阵作如下变换:
x
i
j
∗
=
x
i
j
−
x
ˉ
i
s
i
i
,
i
=
1
,
2
,
⋯
,
m
;
j
=
1
,
2
,
⋯
,
n
x_i j^*=\\fracx_i j-\\barx_i\\sqrts_i i, \\quad i=1,2, \\cdots, m ; \\quad j=1,2, \\cdots, n
xij∗=siixij−xˉi,i=1,2,⋯,m;j=1,2,⋯,n
其中
x
ˉ
i
=
1
n
∑
j
=
1
n
x
i
j
,
i
=
1
,
2
,
⋯
,
m
s
i
i
=
1
n
−
1
∑
j
=
1
n
(
x
i
j
−
x
ˉ
i
)
2
,
i
=
1
,
2
,
⋯
,
m
\\beginarrayl \\barx_i=\\frac1n \\sum_j=1^n x_i j, \\quad i=1,2, \\cdots, m \\\\ s_i i=\\frac1n-1 \\sum_j=1^n\\left(x_i j-\\barx_i\\right)^2, \\quad i=1,2, \\cdots, m \\endarray
xˉi=n1∑j=1nxij,i=1,2,⋯,msii=n−11∑j=1n(xij−xˉi)2,i=1,2,⋯,m
之前的样本矩阵变成为:
X
=
[
x
_
1
x
_
2
⋯
x
_
n
]
=
[
x
11
∗
x
12
∗
⋯
x
1
n
∗
x
21
∗
x
22
∗
⋯
x
2
n
∗
⋮
⋮
⋮
x
m
1
∗
x
m
2
∗
⋯
x
m
n
∗
]
X=\\left[\\beginarrayllll x\\_1 & x\\_2 & \\cdots & x\\_n \\endarray\\right]=\\left[\\beginarraycccc x_11^* & x_12^* & \\cdots & x_1 n^* \\\\ x_21^* & x_22^* & \\cdots & x_2 n^* \\\\ \\vdots & \\vdots & & \\vdots \\\\ x_m 1^* & x_m 2^* & \\cdots & x_m n^* \\endarray\\right]
X=[xPCA-2 主成分与协方差矩阵的关系