PCA-2 主成分与协方差矩阵的关系
Posted 丘文波
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了PCA-2 主成分与协方差矩阵的关系相关的知识，希望对你有一定的参考价值。
这篇博客主要介绍如何基于样本的协方差矩阵来求解样本的主成分。
1. 样本协方差矩阵
1.1 样本矩阵
假设对m维随机变量 x = ( x 1 , x 2 , ⋯ , x m ) T \\boldsymbol{x}=\\left(x_{1}, x_{2}, \\cdots, x_{m}\\right)^{\\mathrm{T}} x=(x1,x2,⋯,xm)T进行n次独立观测， x _ 1 , x _ 2 , ⋯ , x _ n x\\_1, x\\_2, \\cdots, x\\_n x_1,x_2,⋯,x_n表示观测样本，其中 x _ j = ( x 1 j , x 2 j , ⋯ , x m j ) T x\\_j=\\left(x_{1 j}, x_{2 j}, \\cdots, x_{m j}\\right)^{\\mathrm{T}} x_j=(x1j,x2j,⋯,xmj)T表示j个观测样本, x i j x_{ij} xij表示第j个样本的第i个变量， j = 1 , 2 , ⋯ , n j=1,2, \\cdots, n j=1,2,⋯,n。
X = [ x _ 1 x _ 2 ⋯ x _ n ] = [ x 11 x 12 ⋯ x 1 n x 21 x 22 ⋯ x 2 n ⋮ ⋮ ⋮ x m 1 x m 2 ⋯ x m n ] X=\\left[\\begin{array}{llll} {x\\_1} & {x\\_2} & \\cdots & {x\\_n} \\end{array}\\right]=\\left[\\begin{array}{cccc} x_{11} & x_{12} & \\cdots & x_{1 n} \\\\ x_{21} & x_{22} & \\cdots & x_{2 n} \\\\ \\vdots & \\vdots & & \\vdots \\\\ x_{m 1} & x_{m 2} & \\cdots & x_{m n} \\end{array}\\right] X=[x_1x_2⋯x_n]=⎣⎢⎢⎢⎡x11x21⋮xm1x12x22⋮xm2⋯⋯⋯x1nx2n⋮xmn⎦⎥⎥⎥⎤
观察到在实际问题中, 不同维度的变量可能有不同的量纲, 直接求主成分有时会产生不合理的 结果。为了消除这个影响，常常对各个维度的变量实施规范化, 使其均值为 0, 方差为 1 。
在使用样本主成分时，一般假设样本数据是规范化的，即对样本矩阵作如下变换:
x
i
j
∗
=
x
i
j
−
x
ˉ
i
s
i
i
,
i
=
1
,
2
,
⋯
,
m
;
j
=
1
,
2
,
⋯
,
n
x_{i j}^{*}=\\frac{x_{i j}-\\bar{x}_{i}}{\\sqrt{s_{i i}}}, \\quad i=1,2, \\cdots, m ; \\quad j=1,2, \\cdots, n
xij∗=siixij−xˉi,i=1,2,⋯,m;j=1,2,⋯,n
其中
x
ˉ
i
=
1
n
∑
j
=
1
n
x
i
j
,
i
=
1
,
2
,
⋯
,
m
s
i
i
=
1
n
−
1
∑
j
=
1
n
(
x
i
j
−
x
ˉ
i
)
2
,
i
=
1
,
2
,
⋯
,
m
\\begin{array}{l} \\bar{x}_{i}=\\frac{1}{n} \\sum_{j=1}^{n} x_{i j}, \\quad i=1,2, \\cdots, m \\\\ s_{i i}=\\frac{1}{n-1} \\sum_{j=1}^{n}\\left(x_{i j}-\\bar{x}_{i}\\right)^{2}, \\quad i=1,2, \\cdots, m \\end{array}
xˉi=n1∑j=1nxij,i=1,2,⋯,msii=n−11∑j=1n(xij−xˉi)2,i=1,2,⋯,m
之前的样本矩阵变成为:
X
=
[
x
_
1
x
_
2
⋯
x
_
n
]
=
[
x
11
∗
x
12
∗
⋯
x
1
n
∗
x
21
∗
x
22
∗
⋯
x
2
n
∗
⋮
⋮
⋮
x
m
1
∗
x
m
2
∗
⋯
x
m
n
∗
]
X=\\left[\\begin{array}{llll} {x\\_1} & {x\\_2} & \\cdots & {x\\_n} \\end{array}\\right]=\\left[\\begin{array}{cccc} x_{11}^{*} & x_{12}^{*} & \\cdots & x_{1 n}^{*} \\\\ x_{21}^{*} & x_{22}^{*} & \\cdots & x_{2 n}^{*} \\\\ \\vdots & \\vdots & & \\vdots \\\\ x_{m 1}^{*} & x_{m 2}^{*} & \\cdots & x_{m n}^{*} \\end{array}\\right]
X=[PCA-2 主成分与协方差矩阵的关系