详解数学基础-概率-高斯分布-求边缘概率以及条件概率白板推导系列笔记

Posted 2022-10-09

$$

\\begingathered

X \\sim N(\\mu,\\Sigma)=\\frac1(2\\pi)^\\fracp2|\\Sigma|^\\frac12\\textexp\\left(- \\frac12(x-\\mu)^T\\Sigma^-1(x-\\mu)\\right)\\

x \\in \\mathbbR^p,r.v.\\

\\endgathered

$$

已知

$$

\\begingathered

x=\\beginpmatrix

x_a \\ x_b

\\endpmatrix,\\mu=\\beginpmatrix

\\mu_a \\ \\mu_b

\\endpmatrix,\\Sigma=\\beginpmatrix

\\Sigma_aa & \\Sigma_ab \\ \\Sigma_ba & \\Sigma_bb

\\endpmatrix\\

x_a为m \\times 1,x_b为 n \\times 1,m+n=p

\\endgathered

$$

求$P(x_a),P(x_b|x_a)$，求得后可以由对称性得到$P(x_b),P(x_a|x_b)$

 

 

先求$x_a$的分布

$$

\\beginaligned

x_a&=\\underbrace\\beginpmatrixI_m & O_n\\endpmatrix_A\\underbrace\\beginpmatrix

x_a \\ x_b

\\endpmatrix_x\\

E(x_a)&=\\beginpmatrixI_m & O\\endpmatrix\\beginpmatrix

\\mu_a \\ \\mu_b

\\endpmatrix=\\mu_a\\

\\textVar(x_a)&=\\beginpmatrix

I_m & O

\\endpmatrix\\beginpmatrix

\\Sigma_aa & \\Sigma_ab \\ \\Sigma_ba & \\Sigma_bb

\\endpmatrix\\beginpmatrix

I_m \\ O

\\endpmatrix=\\Sigma_aa

\\endaligned

$$

因此$x_a\\sim N(\\mu_a,\\Sigma_aa)$

再求$x_b|x_a$的分布，令

$$

\\left\\beginaligned&x_b \\cdot a=x_b-\\Sigma_ba\\Sigma_aa^-1x_a\\&\\mu_b \\cdot a=\\mu_b-\\Sigma_ba\\Sigma_aa^-1\\mu_a\\&\\Sigma_bb \\cdot a=\\Sigma_bb-\\Sigma_ba\\Sigma_aa^-1\\Sigma_ab\\endaligned\\right.

$$

有

$$

\\beginaligned

x_b \\cdot a&=\\underbrace\\beginpmatrix- \\Sigma_ba\\Sigma_aa^-1 & I_n

\\endpmatrix_A\\underbrace\\beginpmatrix

x_a \\ x_b

\\endpmatrix_x\\

E(x_b \\cdot a)&=\\beginpmatrix- \\Sigma_ba\\Sigma_aa^-1 & I_n

\\endpmatrix\\beginpmatrix

\\mu_a \\ \\mu_b

\\endpmatrix=\\mu_b-\\Sigma_ba\\Sigma_aa^-1\\mu_a=\\mu_b \\cdot a\\

\\textVar(x_b \\cdot a)&=\\beginpmatrix- \\Sigma_ba\\Sigma_aa^-1 & I_n

\\endpmatrix\\beginpmatrix

\\Sigma_aa & \\Sigma_ab \\ \\Sigma_ba & \\Sigma_bb

\\endpmatrix\\beginpmatrix

-\\Sigma_aa^-1\\Sigma_ba^T \\ I_n

\\endpmatrix\\

&=\\Sigma_bb-\\Sigma_ba\\Sigma_aa^-1\\Sigma_ab=\\Sigma_bb \\cdot a

\\endaligned

$$

因此$x_b \\cdot a\\sim N(\\mu_b \\cdot a,\\Sigma_bb \\cdot a)$

这里要求$x_b|x_a$，即

$$

\\beginaligned

x_b \\cdot a&=x_b-\\Sigma_ba\\Sigma_aa^-1x_a\\

x_b&=x_b \\cdot a+\\Sigma_ba\\Sigma_aa^-1x_a\\

x_b|x_a&=(x_b \\cdot a+\\Sigma_ba\\Sigma_aa^-1x_a)|x_a\\

x_b|x_a&=x_b \\cdot a|x_a+\\Sigma_ba\\Sigma_aa^-1x_a|x_a\\

x_b|x_a&=x_b \\cdot a|x_a+\\Sigma_ba\\Sigma_aa^-1x_a

\\endaligned

$$

这里如果有$x_b \\cdot a|x_a=x_b \\cdot a$，就可以有

$$

x_b|x_a=x_b \\cdot a+\\Sigma_ba\\Sigma_aa^-1x_a

$$

 

 

$$

\\beginaligned

\\Sigma&=\\beginpmatrix

\\Sigma_aa & \\Sigma_ab \\ \\Sigma_ba & \\Sigma_bb

\\endpmatrix\\

x_b \\cdot a&=x_b-\\Sigma_ba\\Sigma_aa^-1x_a=\\underbrace\\beginpmatrix

-\\Sigma_ba\\Sigma_aa^-1 & I

\\endpmatrix_M\\beginpmatrix

x_a \\ x_b

\\endpmatrix\\

x_a&=\\underbrace\\beginpmatrix

I & O

\\endpmatrix_N\\beginpmatrix

x_a \\ x_b

\\endpmatrix\\

M \\Sigma N^T&=\\beginpmatrix

-\\Sigma_ba\\Sigma_aa^-1 & I

\\endpmatrix\\beginpmatrix

\\Sigma_aa & \\Sigma_ab \\ \\Sigma_ba & \\Sigma_bb

\\endpmatrix\\beginpmatrix

I & O

\\endpmatrix=0

\\endaligned

$$

因此$x_b \\cdot a\\bot x_a\\Rightarrow x_b \\cdot a|x_a=x_b \\cdot a $，就有

$$

x_b|x_a=x_b \\cdot a|x_a+\\Sigma_ba\\Sigma_aa^-1|x_a=x_b \\cdot a+\\Sigma_ba\\Sigma_aa^-1x_a

$$

因此

$$

\\beginaligned

E(x_b|x_a)&=E(x_b \\cdot a+\\Sigma_ba\\Sigma_aa^-1x_a)\\

&=\\mu_b \\cdot a+\\Sigma_ba\\Sigma_aa^-1x_a\\

&=\\mu_b-\\Sigma_ba\\Sigma_aa^-1\\mu_a+\\Sigma_ba\\Sigma_aa^-1x_a\\

\\textVar(x_b|x_a)&=\\textVar(x_b \\cdot a+\\Sigma_ba\\Sigma_aa^-1x_a)\\

&=\\textVar(x_b \\cdot a)\\

&=\\Sigma_bb \\cdot a

\\endaligned

$$

因此$x_b|x_a \\sim N(\\mu_b-\\Sigma_ba\\Sigma_aa^-1\\mu_a+\\Sigma_ba\\Sigma_aa^-1x_a,\\Sigma_bb-\\Sigma_ba\\Sigma_aa^-1\\Sigma_ab)$