详解降维-样本均值&样本方差矩阵白板推导系列笔记

Posted 2022-10-13

$$

\\begingathered

X=\\beginpmatrix

x_1 & x_2 & \\cdots  & x_N

\\endpmatrix^T_N \\times p=\\beginpmatrix

x_1^T \\ x_2^T \\ \\vdots  \\ x_N^T

\\endpmatrix=\\beginpmatrix

x_11 & x_12 & \\cdots &  x_1p \\ x_21 & x_22 & \\cdots  & x_2p \\ \\vdots  & \\vdots  &  & \\vdots  \\ x_N1 & x_N2 & \\cdots  & x_NP

\\endpmatrix_N \\times p\\

x_i\\in \\mathbbR^p,i=1,2,\\cdots ,N\\

记1_N=\\beginpmatrix1 \\ 1 \\ \\vdots  \\ 1\\endpmatrix_N \\times 1

\\endgathered

$$

对于样本均值

$$

\\beginaligned

\\barx&=\\frac1N\\sum\\limits_i=1^Nx_i\\

&=\\frac1N\\beginpmatrix

x_1 & x_2 & \\cdots  & x_N

\\endpmatrix\\beginpmatrix1 \\ 1 \\ \\vdots  \\ 1\\endpmatrix_N \\times 1\\

&=\\frac1NX^T1_N

\\endaligned

$$

对于样本方差

$$

\\beginaligned

S&=\\frac1N\\sum\\limits_i=1^N(x_i-\\barx)(x_i-\\barx)^T

\\endaligned

$$

对于$\\sum\\limits_i=1^N(x_i-\\barx)$有

$$

\\beginaligned

\\sum\\limits_i=1^N(x_i-\\barx)&=\\beginpmatrix

x_1-\\barx & x_2-\\barx & \\cdots  & x_N-\\barx

\\endpmatrix\\

&=\\beginpmatrix

x_1 & x_2 & \\cdots  & x_N

\\endpmatrix-\\beginpmatrix

\\barx & \\barx & \\cdots  & \\barx

\\endpmatrix\\

&=X^T-\\barx\\beginpmatrix1 & 1 & \\cdots  & 1\\endpmatrix\\

&=X^T-\\barx1_N^T\\

&=X^T- \\frac1NX^T1_N1_N^T\\

&=X^T\\left(\\mathbbIN- \\frac1N1N1_N^T\\right)\\

\\endaligned

$$

带回原式

$$

\\beginaligned

S&=\\frac1N\\beginpmatrix

x_1-\\barx & x_2-\\barx & \\cdots  & x_N-\\barx

\\endpmatrix\\beginpmatrix

(x_1-\\barx)^T \\ (x_2-\\barx)^T \\ \\vdots  \\ (x_N-\\barx)^T

\\endpmatrix\\

&=\\frac1NX^T\\left(\\mathbbIN- \\frac1N1N1_N^T\\right)\\cdot (\\mathbbIN- \\frac1N1N1_N^T)^TX\\

\\endaligned

$$

记$\\beginaligned \\mathbbH=\\mathbbIN- \\frac1N1N1_N^T\\endaligned$（$\\mathbbH$也被称为中心矩阵），上式为

$$

\\beginaligned

S&=\\frac1NX^T\\left(\\mathbbIN- \\frac1N1N1_N^T\\right)\\cdot (\\mathbbIN- \\frac1N1N1_N^T)^TX\\

&=\\frac1NX^T\\mathbbH\\cdot \\mathbbHX

\\endaligned

$$

对于$\\mathbbH^T$有

$$

\\beginaligned

\\mathbbH^T&=(\\mathbbIN- \\frac1N1N1_N^T)^T\\

&=\\mathbbIN- \\frac1N1N1_N^T\\

&=\\mathbbH

\\endaligned

$$

对于$\\mathbbH^2$有

$$

\\beginaligned

\\mathbbH^2&=\\mathbbH \\cdot \\mathbbH\\

&=\\left(\\mathbbIN- \\frac1N1N1_N^T\\right)\\left(\\mathbbIN- \\frac1N1N1_N^T\\right)\\

&=\\mathbbIN- \\frac2N1N1_N^T+ \\frac1N^21_N1_N^T1_N1_N^T

\\endaligned

$$

对于$1_N1_N^T$

$$

\\beginaligned

1_N1_N^T&=\\beginpmatrix

1 \\ \\vdots  \\ 1

\\endpmatrix\\beginpmatrix

1 & \\cdots  & 1

\\endpmatrix=\\beginpmatrix

1 & \\cdots  & 1 \\ \\vdots  &  & \\vdots  \\ 1 & \\cdots  & 1

\\endpmatrix\\

1_N1_N^T1_N1_N^T&=\\beginpmatrix

1 & \\cdots  & 1 \\ \\vdots  &  & \\vdots  \\ 1 & \\cdots  & 1

\\endpmatrix\\beginpmatrix

1 & \\cdots  & 1 \\ \\vdots  &  & \\vdots  \\ 1 & \\cdots  & 1

\\endpmatrix\\

&=\\beginpmatrix

N & \\cdots  & N \\ \\vdots  &  & \\vdots  \\ N & \\cdots  & N

\\endpmatrix

\\endaligned

$$

带回$\\mathbbH^2$有

$$

\\beginaligned

\\mathbbH^2&=\\mathbbIN- \\frac2N1N1_N^T+ \\frac1N^21_N1_N^T1_N1_N^T\\

&=\\mathbbI_N- \\frac2N\\beginpmatrix

1 & \\cdots  & 1 \\ \\vdots  &  & \\vdots  \\ 1 & \\cdots  & 1

\\endpmatrix+ \\frac1N^2\\beginpmatrix

N & \\cdots  & N \\ \\vdots  &  & \\vdots  \\ N & \\cdots  & N

\\endpmatrix\\

&=\\mathbbI_N- \\frac2N\\beginpmatrix

1 & \\cdots  & 1 \\ \\vdots  &  & \\vdots  \\ 1 & \\cdots  & 1

\\endpmatrix+ \\frac1N\\beginpmatrix

1 & \\cdots  & 1 \\ \\vdots  &  & \\vdots  \\ 1 & \\cdots  & 1

\\endpmatrix\\

&=\\mathbbI_N- \\frac1N\\beginpmatrix

1 & \\cdots  & 1 \\ \\vdots  &  & \\vdots  \\ 1 & \\cdots  & 1

\\endpmatrix\\

&=\\mathbbIN- \\frac1N1N1_N^T\\

&=\\mathbbH

\\endaligned

$$

因此有$\\mathbbH^n=\\mathbbH$，带回$S$

$$

\\beginaligned

S&=\\frac1NX^T\\mathbbH\\cdot \\mathbbHX\\

&=\\frac1NX^T\\mathbbHX

\\endaligned

$$

这里中心矩阵$\\mathbbH$的几何意义是，对于一个数据集$X$，$X \\mathbbH$可以认为是将数据集平移到坐标轴原点，$\\mathbbH$就是这个起到平移作用的矩阵