Mathematics Base - 期望方差协方差相关系数总结

Posted 2021-02-05 zdfffg

参考：《深度学习500问》

期望
?在概率论和统计学中，数学期望（或均值，亦简称期望）是试验中每次可能结果的概率乘以其结果的总和。它反映随机变量平均取值的大小。

• 线性运算： (E(ax+by+c) = aE(x)+bE(y)+c)
  
• ?推广形式： (E(sum_{k=1}^{n}{a_ix_i+c}) = sum_{k=1}^{n}{a_iE(x_i)+c})
• 函数期望：设(f(x))为(x)的函数，则(f(x))的期望为
  • 离散函数： (E(f(x))=sum_{k=1}^{n}{f(x_k)P(x_k)})
  • 连续函数： (E(f(x))=int_{-infty}^{+infty}{f(x)p(x)dx})

注意：

• 函数的期望不等于期望的函数，即(E(f(x))=f(E(x)))
  
• 一般情况下，乘积的期望不等于期望的乘积。
  
• 如果(X)和(Y)相互独立，则(E(xy)=E(x)E(y)?)。

方差

?概率论中方差用来度量随机变量和其数学期望（即均值）之间的偏离程度。方差是一种特殊的期望。定义为：

[ Var(x) = E((x-E(x))^2) ]

方差性质：

1）(Var(x) = E(x^2) -E(x)^2)
2）常数的方差为0;
3）方差不满足线性性质;
4）如果(X)和(Y)相互独立, (Var(ax+by)=a^2Var(x)+b^2Var(y))

协方差
?协方差是衡量两个变量线性相关性强度及变量尺度。 两个随机变量的协方差定义为：

[ Cov(x,y)=E((x-E(x))(y-E(y))) ]

?方差是一种特殊的协方差。当(X=Y)时，(Cov(x,y)=Var(x)=Var(y))。

协方差性质：

1）独立变量的协方差为0。
2）协方差计算公式：

[ Cov(sum_{i=1}^{m}{a_ix_i}, sum_{j=1}^{m}{b_jy_j}) = sum_{i=1}^{m} sum_{j=1}^{m}{a_ib_jCov(x_iy_i)} ]

3）特殊情况：

[ Cov(a+bx, c+dy) = bdCov(x, y) ]

相关系数
?相关系数是研究变量之间线性相关程度的量。两个随机变量的相关系数定义为：

[ Corr(x,y) = frac{Cov(x,y)}{sqrt{Var(x)Var(y)}} ]

相关系数的性质：
1）有界性。相关系数的取值范围是 ，可以看成无量纲的协方差。
2）值越接近1，说明两个变量正相关性（线性）越强。越接近-1，说明负相关性越强，当为0时，表示两个变量没有相关性。