[概率论与数理统计]笔记：3.4 随机向量的数字特征

Posted 2023-01-13 feixianxing

这篇笔记主要记录了协方差和相关系数的知识点。

3.4 随机向量的数字特征

协方差

定义

协方差用于反映随机向量的分量之间关系的密切程度。

\\[cov(X,Y)=E \\left[ (X-EX)(Y-EY) \\right] =E(XY)-EX\\cdot EY \\]

性质

• \\(cov(X,X)=DX\\)

• \\(cov(X,Y)=cov(Y,X)\\)

• \\(cov(aX,bY)=ab\\cdot cov(X,Y)\\)，\\(a,b\\)为任意常数

• \\(cov(C,X)=0\\)，\\(C\\)为任意常数

• \\(cov(X_1+X_2,Y)=cov(X_1,Y)+cov(X_2,Y)\\)

• 如果\\(X,Y\\)相互独立，则\\(cov(X,Y)=0\\)。反过来不成立：如果\\(cov(X,Y)=0\\)，\\(X,Y\\)不一定相互独立。

  • 对于方差存在的随机变量\\(X,Y\\)，有\\(D(X\\pm Y)=DX+DY\\pm 2cov(X,Y)\\)
  • 当\\(X,Y\\)相互独立时，\\(D(X\\pm Y)=DX+DY\\)

• \\(n\\)维随机向量\\((X_1,X_2,\\cdots,X_n)\\)，\\(X_i(i=1,2,\\cdots,n)\\)的方差均存在，则对于任意实向量\\((\\lambda_1,\\lambda_2,\\cdots,\\lambda_n)\\)，\\(\\sum\\limits_i=1^n\\lambda_iX_i\\)的方差必存在，且

  \\[D(\\sum\\limits_i=1^n\\lambda_iX_i)=\\sum\\limits_i=1^n\\lambda_i^2DX_i+2\\sum\\limits_1\\le i<j\\le n\\lambda_i\\lambda_jcov(X_i,Y_j). \\]

  特别地，当\\(X_1,X_2,\\cdots,X_n\\)两两独立时，有

  \\[D(\\sum\\limits_i=1^n\\lambda_iX_i)=\\sum\\limits_i=1^n\\lambda_i^2DX_i \\]

计算

• 离散型：\\(cov(X,Y)=\\sum\\limits_i,j(x_i-EX)(y_j-EY)p_ij\\)

• 连续型：\\(cov(X,Y)=\\int_-\\infty^+\\infty\\int_-\\infty^+\\infty(x-EX)(y-EY)f(x,y)\\mathrmdx\\mathrmdy\\)

• 实际做题中常用的公式：\\(cov(X,Y)=E(XY)-EX\\cdot EY\\)

---

协方差矩阵

定义

\\((X_1,X_2,\\cdots,X_n)\\)是\\(n\\)维随机向量，\\(X_i(i=1,2,\\cdots,n)\\)的方差均存在，则以\\(\\sigma_ij=cov(X_i,Y_j)\\)为第\\((i,j)\\)个元素的矩阵\\((\\sigma_ij)_n\\times n\\)称为随机向量\\((X_1,X_2,\\cdots,X_n)\\)的协方差矩阵，简称协差阵。

记\\(\\mathbfX=(X_1,X_2,\\cdots,X_n)^T\\)，其协差阵通常记作\\(D\\mathbfX\\).

对任意实向量\\(\\boldsymbol\\lambda=(\\lambda_1,\\lambda_2,\\cdots,\\lambda_n)^T\\)，有\\(D(\\boldsymbol\\lambda^T\\boldX=\\boldsymbol\\lambda^TD\\boldX\\ \\boldsymbol\\lambda)\\)

---

相关系数

协方差是对两个随机变量的协同变化的度量，但是数值受数量单位影响，也即受各随机变量自身取值水平的影响。

为了避免这种影响，可以采取标准化。

标准化

\\[X^*=\\fracX-EX\\sqrtDX,\\quad Y^*=\\fracY-EY\\sqrtDY. \\]

相关系数的定义

标准化后的随机变量的协方差为

\\[\\beginalign* cov(X^*,Y^*) &=E(X^*Y^*)-EX^*EY^* \\\\ &= E\\left[\\fracX-EX\\sqrtDX\\cdot\\fracY-EY\\sqrtDY\\right]-E(\\fracX-EX\\sqrtDX)E(\\fracY-EY\\sqrtDY) \\\\ &= E\\left[\\fracX-EX\\sqrtDX\\cdot\\fracY-EY\\sqrtDY\\right]-\\frac1\\sqrtDX\\sqrtDYE(X-EX)E(Y-EY) \\\\ &= E\\left[\\fracX-EX\\sqrtDX\\cdot\\fracY-EY\\sqrtDY\\right]-\\frac1\\sqrtDX\\sqrtDY(EX-EX)(EY-EY) \\\\ &= E\\left[\\fracX-EX\\sqrtDX\\cdot\\fracY-EY\\sqrtDY\\right] \\\\ &= \\fracE((X-EX)(Y-EY))\\sqrtDX\\sqrtDY \\\\ &= \\fraccov(X,Y)\\sqrtDX\\sqrtDY \\endalign* \\]

将其称为\\(X,Y\\)之间的相关系数，记作\\(\\rho_X,Y=\\fraccov(X,Y)\\sqrtDX\\sqrtDY\\).

概念与性质

• 相关系数恒满足：\\(|\\rho_X,Y|\\le1\\)

• 如果\\(X,Y\\)之间存在线性函数关系，则\\(|\\rho_X,Y|=1\\).

  此时，称\\(X,Y\\)完全相关。

  当\\(\\rho=1\\)时，称完全正相关。

  当\\(\\rho=-1\\)时，称完全负相关。

• 如果\\(\\rho_X,Y=0\\)，则称\\(X,Y\\)不相关。

  从相关系数和协方差的定义可以知道：

  \\[独立\\Rightarrow不相关\\\\ 不相关\\nRightarrow 独立 \\]

  \\(独立\\Rightarrow没有关系\\Rightarrow没有线性关系\\Rightarrow不相关\\).

  \\(不相关\\Rightarrow 没有线性关系，但是可能存在非线性关系\\nRightarrow独立\\).

• 如果\\(0<|\\rho_X,Y|<1\\)，则称\\(X,Y\\)不完全相关.

  当\\(\\rho>0\\)时，称为正相关。

  当\\(\\rho<0\\)时，称为负相关。

---

条件数学期望

定义

离散型

在\\(Y=y_j\\)的条件下，\\(X\\)的条件概率分布为

\\[P\\X=x_i|Y=y_j\\=p_i|j,\\quad\\quad i=1,2,\\cdots, \\]

如果

\\[\\sum\\limits_i|x_i|p_i|j<+\\infty \\]

即绝对收敛，则称\\(\\sum\\limits_i|x_i|p_i|j\\)为\\(X\\)在\\(Y=y_j\\)条件下的条件数学期望，记作\\(E[X|Y=y_j]\\).

连续型

在\\(Y=y\\)的条件下，\\(X\\)的条件密度函数为

\\[\\int_-\\infty^+\\infty|x|f_X|Y(x|y)\\mathrmdx<+\\infty, \\]

则称

\\[\\int_-\\infty^+\\inftyxf_X|Y(x|y)\\mathrmdx \\]

为\\(X\\)在\\(Y=y\\)条件下的条件数学期望。记作\\(E[X|Y=y]\\).

性质

条件数学期望具有数学期望具有的所有数学性质。

以上是关于[概率论与数理统计]笔记：3.4 随机向量的数字特征的主要内容，如果未能解决你的问题，请参考以下文章

[概率论与数理统计]笔记：3.3 随机向量的函数的分布与数学期望

机器学习之概率与统计- 多元随机变量及其分布

概率论与数理统计:随机变量的数字特征

概率论与数理统计笔记 第二章 随机变量及其概率分布

[概率论与数理统计]笔记：3.2 条件分布与随机变量的独立性

概率论与数理统计 Chapter3. 随机变量的数字特征