协方差矩阵与相关系数矩阵
Posted 夏小悠
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了协方差矩阵与相关系数矩阵相关的知识,希望对你有一定的参考价值。
文章目录
前言
本篇博客主要介绍一下方差、协方差及相关系数的相关知识,进而引入了协方差矩阵与相关系数矩阵,并结合相关实例进行说明。
1. 方差、协方差与相关系数
在《概率论与数理统计》中,方差用来度量单个随机变量
X
X
X的离散程度,记为
D
X
DX
DX,计算公式如下:
D
X
=
E
(
X
−
E
X
)
2
=
E
X
2
−
E
2
X
\\beginaligned DX &= E(X-EX)^2 \\\\[3pt] &= EX^2 - E^2X \\endaligned
DX=E(X−EX)2=EX2−E2X 数学表达式为:
σ
2
(
x
)
=
1
n
−
1
∑
i
=
1
N
(
x
i
−
x
ˉ
)
2
\\sigma ^2(x) = \\frac 1 n-1\\sum _i=1 ^N (x_i - \\bar x)^2
σ2(x)=n−11i=1∑N(xi−xˉ)2
即
方差 = 平方的期望 - 期望的平方
协方差用来度量两个随机变量
X
X
X和
Y
Y
Y间的相似程度,记为
C
o
v
(
X
,
Y
)
Cov(X,Y)
Cov(X,Y),计算公式为:
C
o
v
(
X
,
Y
)
=
E
[
(
X
−
E
X
)
⋅
(
Y
−
E
Y
)
]
=
E
(
X
Y
)
−
E
X
⋅
E
Y
\\beginaligned Cov(X,Y) &= E[(X - EX) \\cdot (Y - EY)] \\\\[3pt] &= E(XY) - EX \\cdot EY \\endaligned
Cov(X,Y)=E[(X−EX)⋅(Y−EY)]=E(XY)−EX⋅EY 数学表达式为:
σ
(
x
,
y
)
=
1
n
−
1
∑
i
=
1
N
(
x
i
−
x
ˉ
)
(
y
i
−
y
ˉ
)
\\sigma (x, y) = \\frac 1 n-1\\sum _i=1 ^N (x_i - \\bar x) (y_i - \\bar y)
σ(x,y)=n−11i=1∑N(xi−xˉ)(yi−yˉ)
从公式上来看,协方差是两个变量与自身期望做差再相乘,然后对乘积取期望。也就是说,当其中一个变量的取值大于自身期望,另一个变量的取值也大于自身期望时,即两个变量的变化趋势相同,此时,两个变量之间的协方差取正值。反之,即其中一个变量大于自身期望时,另外一个变量小于自身期望,那么这两个变量之间的协方差取负值。
相关系数,也叫皮尔逊(Pearson)
相关系数,用来度量两个随机变量
X
X
X和
Y
Y
Y间的相关程度,记为
ρ
X
Y
\\rho_XY
ρXY,计算公式为:
ρ
X
Y
=
C
o
v
(
X
,
Y
)
D
X
D
Y
\\rho_XY = \\frac Cov(X,Y) \\sqrt DX \\sqrt DY
ρXY=DXDYCov(X,Y) 若
ρ
X
Y
>
0
\\rho_XY > 0
ρXY>0,表示随机变量
X
X
X和
Y
Y
Y呈正相关;
若
ρ
X
Y
<
0
\\rho_XY < 0
ρXY<0,表示随机变量
X
X
X和
Y
Y
Y呈负相关;
若
ρ
X
Y
=
0
\\rho_XY = 0
ρXY=0,表示随机变量
X
X
X和
Y
Y
Y不相关,即相互独立;
若
ρ
X
Y
=
±
1
\\rho_XY = \\pm1
ρXY=±1,表示随机变量
X
X
X和
Y
Y
Y呈线性相关;
相关系数也可以看成协方差:一种剔除了两个变量量纲影响、标准化后的特殊协方差,它消除了两个变量变化幅度的影响,而只是单纯反应两个变量每单位变化时的相似程度。
2. 协方差矩阵
在实际场景中,我们在描述一个物体时,并不会单单从一个或两个维度去描述,比如说,在描述一个神经网络模型的性能时,需要从模型的大小,精度,推理时间等多个维度来衡量。在进行多维数据分析时,不同维度之间的相关程度就需要协方差矩阵(covariance matrix)
来描述,维度之间的两两相关程度就构成了协方差矩阵,而协方差矩阵主对角线上的元素即为每个维度上的数据方差。
协方差矩阵的表达式为:
∑
=
[
σ
(
x
1
,
x
1
)
…
σ
(
x
1
,
x
n
)
⋮
⋱
⋮
σ
(
x
n
,
x
1
)
…
σ
(
x
n
,
x
n
)
]
\\sum = \\beginbmatrix \\sigma (x_1, x_1) & \\dots & \\sigma (x_1, x_n) \\\\ \\vdots & \\ddots & \\vdots \\\\ \\sigma (x_n, x_1) & \\dots & \\sigma (x_n, x_n) \\\\ \\endbmatrix
∑=
σ(x1,x1)⋮σ(xn,x1)…⋱…σ(x1,xn)⋮σ(xn,xn)
3. 相关系数矩阵
顾名思义,就是由相关系数组成的矩阵 以上是关于协方差矩阵与相关系数矩阵的主要内容,如果未能解决你的问题,请参考以下文章(correlation matrix)
,也叫系数矩阵,矩阵中的每个元素的取值范围为[-1, 1]
。
相关系数矩阵的表达式为:
C
=
[
ρ
(
x
1
,
x
1
)
…
ρ
(
x
1
,
x
n
)
⋮
⋱
⋮
ρ
(
x
n
,
x
1
)
…
ρ
(
x
n
,
x
n
)
]
=
[
1
…
ρ
(
x
1
,
x
n
)