随机过程 6 - 多元相关
Posted Ciaran-byte
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了随机过程 6 - 多元相关相关的知识,希望对你有一定的参考价值。
多元相关
文章目录
1. 概述
相关是研究随机过程的重要工具。之前,我们研究的都是两个随机变量的相关性。现在我们想扩展到随机矢量的相关性。对多元相关问题研究的角度有两个,一个是从分布的角度来看的,另一个是从直观的角度来看的。
Z , Y ⇒ E ( Z Y ) Z = ( Z 1 , . . . , Z n ) T → Distribution → Intuitive Z,Y \\Rightarrow E(ZY) \\\\ Z = (Z_1,...,Z_n)^T \\\\ \\rightarrow \\textDistribution \\\\ \\rightarrow \\textIntuitive Z,Y⇒E(ZY)Z=(Z1,...,Zn)T→Distribution→Intuitive
事实上,从分布的角度来表示相关并不容易,因为相互之间的作用可能会非常复杂。
我们就在二维空间上用等高线的形式,去描述两个随机变量的关系
- 如果两个随机变量的等高线是个圆,那么这个两个随机变量不独立,但是没有明显的相关性
- 如果两个随机变量的等高线是个椭圆,那么这个两个随机变量不独立,并且具有明显的相关性
- 如果两个随机变量的等高线是条直线,那么两个随机变量是不独立的,并且二者之间具有强相关性
如果是更高维度的分布函数,就很难统计了。我们希望使用更加直观的方法去描述多元随机变量之间的相关关系。
事实上,我们可以用更加简单的方法,通过相关矩阵的方法去描述多元相关问题
E ( Z i Z j ) E ( Z i 2 ) ( 1 ≤ i < j ≤ n ) ⇒ C n 2 = n ( n + 1 ) 2 E(Z_i Z_j) \\quad E(Z_i^2) \\\\ (1 \\leq i <j \\leq n) \\Rightarrow C_n^2 = \\fracn(n+1)2 E(ZiZj)E(Zi2)(1≤i<j≤n)⇒Cn2=2n(n+1)
除了自相关以外,还有n(n+1)/2种的互相关
我们相关矩阵得到的描述是这样的
Correlation Matrix E ( Z Z T ) = ( E ( Z 1 2 ) E ( Z 1 Z 2 ) . . . E ( Z 1 Z n ) E ( Z 2 Z 1 ) E ( Z 2 2 ) . . . E ( Z 2 Z n ) . . . . . . . . . . . . E ( Z n Z 1 ) E ( Z n Z 2 ) . . . E ( Z n 2 ) ) \\textCorrelation Matrix \\\\ E(ZZ^T) = \\beginpmatrix E(Z_1^2) & E(Z_1 Z_2) & ... & E(Z_1 Z_n)\\\\ E(Z_2 Z_1) & E(Z_2^2) &... & E(Z_2 Z_n) \\\\ ...&...&...&...&\\\\ E(Z_nZ_1) &E(Z_nZ_2) & ... &E(Z_n^2) \\endpmatrix Correlation MatrixE(ZZT)=⎝⎜⎜⎛E(Z12)E(Z2Z1)...E(ZnZ1)E(Z1Z2)E(Z22)...E(ZnZ2)............E(Z1Zn)E(Z2Zn)...E(Zn2)⎠⎟⎟⎞
相关矩阵具有这样的性质
- 对称
- 正定
下面,我们将基于相关矩阵,从三个不同的角度去看待相关矩阵
- 白化
- PCA
- KL展开
2. 三个角度看待相关矩阵
2.1 白化
首先第一个角度,是去相关化的角度,我们知道,我们的随机变量之间一般都是有相关性的,但是,如果我们通过某种线性变换,然后随机变量之间的相关性可以被去掉,这个动作就叫白化,也叫做去相关性
Decorrelation (Whiten) \\textDecorrelation \\text (Whiten) Decorrelation (Whiten)
∃ A Y = A Z Z ∈ R n A ∈ R n ∗ n \\exists A \\quad Y = AZ \\\\ Z \\in \\R^n \\quad A \\in \\R^n*n ∃AY=AZZ∈RnA∈Rn∗n
经过白化处理得到的相关矩阵Y应该是个对角阵
E ( Y Y H ) = d i a g ( λ 1 , . . . . , λ n ) E(YY^H) = diag(\\lambda_1,....,\\lambda_n) E(YYH)=diag(λ1,....,λn)
事实上,求解A矩阵是个不适定的问题。因为未知数有n*n个,但是方程只有
n(n-1)/2个。但是我们有一些先验知识。
我们表示一下Y的相关矩阵
R Y = E ( Y Y T ) = E ( A Z Z T A T ) = A E ( Z Z T ) A T = A R Z A T R_Y = E(YY^T) = E(AZZ^TA^T) = AE(ZZ^T)A^T = A R_Z A^T RY=E(YYT)=E(AZZTAT)=AE(ZZT)AT=ARZAT
我们知道相关矩阵RZ是对称的,一定可以做谱分解(特征分解)
R Z = ∑ k = 1 n λ k u k u k T = ( u 1 . . . u n ) ( λ 1 . . . λ n ) ( u 1 T . . . u n T ) = U Λ U T R_Z =\\sum_k=1^n \\lambda_k u_k u_k^T= \\beginpmatrix u_1 & ...& u_n \\\\ \\endpmatrix\\beginpmatrix \\lambda_1 & \\\\ & ...& \\\\ && \\lambda_n \\endpmatrix\\beginpmatrix u_1^T \\\\ ... \\\\ u_n^T \\endpmatrix = U \\Lambda U^T RZ=k=1∑nλkukuk以上是关于随机过程 6 - 多元相关的主要内容,如果未能解决你的问题,请参考以下文章