协方差矩阵的定义及意义

Posted 2021-03-13 merakxuan

协方差矩阵的定义

设一个随机向量为(mathbf{x} in mathbb{R}^mathrm{N})，其均值为(ar{mathbf{x}})，则令(mathbf{y} = mathbf{x} - ar{mathbf{x}})，则随机向量(mathbf{x})的协方差定义为：

[ Sigma_{mathbf{x}} = egin{bmatrix} sigma(x_1,x_1) & dotsb & sigma(x_1,x_N) vdots & ddots & vdots sigma(x_N,x_1) & dotsb & sigma(x_N,x_N) end{bmatrix} in mathbb{R}^{mathrm{N} imes mathrm{N}} ]

由于(sigma(x_i,x_j) = mathrm{E}((x_i - ar{x_i})(x_i - ar{x_i})) = mathrm{E}(y_i - y_j) = sigma(y_i,y_j))，所以(Sigma_{mathbf{x}} = Sigma_{mathbf{y}})，即：

[ Sigma_{mathbf{y}} = egin{bmatrix} sigma(y_1,y_1) & dotsb & sigma(y_1,y_N) vdots & ddots & vdots sigma(y_N,y_1) & dotsb & sigma(y_N,y_N) end{bmatrix} in mathbb{R}^{mathrm{N} imes mathrm{N}} ]

另外，协方差矩阵还可以写成如下的形式：
[ Sigma_{mathbf{x}} = mathrm{E}((mathbf{x-ar{mathbf{x}}})(mathbf{x-ar{mathbf{x}}})^{mathrm{T}}) = mathrm{E}(mathbf{y}mathbf{y}^{mathrm{T}}) ]
此式与上述两式是等价的。各位看官可以自行证明。

协方差矩阵的意义及解释

协方差矩阵的意义及解释可见如下博客，这些博客已经写得非常好了，在此，老夫我就不再重复了。
https://zhuanlan.zhihu.com/p/37609917