随机过程 6 - 多元相关

Posted Ciaran-byte

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了随机过程 6 - 多元相关相关的知识,希望对你有一定的参考价值。

多元相关

文章目录

1. 概述

  相关是研究随机过程的重要工具。之前,我们研究的都是两个随机变量的相关性。现在我们想扩展到随机矢量的相关性。对多元相关问题研究的角度有两个,一个是从分布的角度来看的,另一个是从直观的角度来看的。

Z , Y ⇒ E ( Z Y ) Z = ( Z 1 , . . . , Z n ) T → Distribution → Intuitive Z,Y \\Rightarrow E(ZY) \\\\ Z = (Z_1,...,Z_n)^T \\\\ \\rightarrow \\textDistribution \\\\ \\rightarrow \\textIntuitive Z,YE(ZY)Z=(Z1,...,Zn)TDistributionIntuitive

  事实上,从分布的角度来表示相关并不容易,因为相互之间的作用可能会非常复杂。

  我们就在二维空间上用等高线的形式,去描述两个随机变量的关系

  • 如果两个随机变量的等高线是个圆,那么这个两个随机变量不独立,但是没有明显的相关性
  • 如果两个随机变量的等高线是个椭圆,那么这个两个随机变量不独立,并且具有明显的相关性
  • 如果两个随机变量的等高线是条直线,那么两个随机变量是不独立的,并且二者之间具有强相关性

  如果是更高维度的分布函数,就很难统计了。我们希望使用更加直观的方法去描述多元随机变量之间的相关关系。

  事实上,我们可以用更加简单的方法,通过相关矩阵的方法去描述多元相关问题

E ( Z i Z j ) E ( Z i 2 ) ( 1 ≤ i < j ≤ n ) ⇒ C n 2 = n ( n + 1 ) 2 E(Z_i Z_j) \\quad E(Z_i^2) \\\\ (1 \\leq i <j \\leq n) \\Rightarrow C_n^2 = \\fracn(n+1)2 E(ZiZj)E(Zi2)(1i<jn)Cn2=2n(n+1)

  除了自相关以外,还有n(n+1)/2种的互相关

  我们相关矩阵得到的描述是这样的

Correlation Matrix E ( Z Z T ) = ( E ( Z 1 2 ) E ( Z 1 Z 2 ) . . . E ( Z 1 Z n ) E ( Z 2 Z 1 ) E ( Z 2 2 ) . . . E ( Z 2 Z n ) . . . . . . . . . . . . E ( Z n Z 1 ) E ( Z n Z 2 ) . . . E ( Z n 2 ) ) \\textCorrelation Matrix \\\\ E(ZZ^T) = \\beginpmatrix E(Z_1^2) & E(Z_1 Z_2) & ... & E(Z_1 Z_n)\\\\ E(Z_2 Z_1) & E(Z_2^2) &... & E(Z_2 Z_n) \\\\ ...&...&...&...&\\\\ E(Z_nZ_1) &E(Z_nZ_2) & ... &E(Z_n^2) \\endpmatrix Correlation MatrixE(ZZT)=E(Z12)E(Z2Z1)...E(ZnZ1)E(Z1Z2)E(Z22)...E(ZnZ2)............E(Z1Zn)E(Z2Zn)...E(Zn2)

  相关矩阵具有这样的性质

  • 对称
  • 正定

  下面,我们将基于相关矩阵,从三个不同的角度去看待相关矩阵

  • 白化
  • PCA
  • KL展开

2. 三个角度看待相关矩阵

2.1 白化

  首先第一个角度,是去相关化的角度,我们知道,我们的随机变量之间一般都是有相关性的,但是,如果我们通过某种线性变换,然后随机变量之间的相关性可以被去掉,这个动作就叫白化,也叫做去相关性

Decorrelation  (Whiten)  \\textDecorrelation \\text (Whiten) Decorrelation  (Whiten) 

∃ A Y = A Z Z ∈ R n A ∈ R n ∗ n \\exists A \\quad Y = AZ \\\\ Z \\in \\R^n \\quad A \\in \\R^n*n AY=AZZRnARnn

  经过白化处理得到的相关矩阵Y应该是个对角阵

E ( Y Y H ) = d i a g ( λ 1 , . . . . , λ n ) E(YY^H) = diag(\\lambda_1,....,\\lambda_n) E(YYH)=diag(λ1,....,λn)

  事实上,求解A矩阵是个不适定的问题。因为未知数有n*n个,但是方程只有
n(n-1)/2个。但是我们有一些先验知识。

  我们表示一下Y的相关矩阵

R Y = E ( Y Y T ) = E ( A Z Z T A T ) = A E ( Z Z T ) A T = A R Z A T R_Y = E(YY^T) = E(AZZ^TA^T) = AE(ZZ^T)A^T = A R_Z A^T RY=E(YYT)=E(AZZTAT)=AE(ZZT)AT=ARZAT

  我们知道相关矩阵RZ是对称的,一定可以做谱分解(特征分解)

R Z = ∑ k = 1 n λ k u k u k T = ( u 1 . . . u n ) ( λ 1 . . . λ n ) ( u 1 T . . . u n T ) = U Λ U T R_Z =\\sum_k=1^n \\lambda_k u_k u_k^T= \\beginpmatrix u_1 & ...& u_n \\\\ \\endpmatrix\\beginpmatrix \\lambda_1 & \\\\ & ...& \\\\ && \\lambda_n \\endpmatrix\\beginpmatrix u_1^T \\\\ ... \\\\ u_n^T \\endpmatrix = U \\Lambda U^T RZ=k=1nλkukuk以上是关于随机过程 6 - 多元相关的主要内容,如果未能解决你的问题,请参考以下文章

随机过程 6 - 多元相关

现代信号处理 16 - 谱表示与PSWF表示

随机过程 4 -随机过程的频域分析2 - 谱表示

随机过程 4 -随机过程的频域分析2 - 谱表示

随机过程8 - 多元高斯分布及其线性性质

随机过程8 - 多元高斯分布及其线性性质