多元高斯分布

Posted 2020-08-13 dnbc66

　　直接给出多元高斯分布和单元高斯分布的概率密度函数：

　　

　　μ是一个D维均值向量，Σ是一个D×D的协方差矩阵，我们只考虑正定矩阵（所有特征值都是正数），即|Σ|>0；多元高斯分布和单态量高斯分布尽管在形式上不同，但实际上单态高斯是维数为1的多元高斯分布：当D=1时，Σ是一个1×1的矩阵（即退化为一个数），|Σ|^1/2=σ（即标准差），Σ^-1=σ^-2，(x-μ)^T=(x-μ)，我们能够把这两个公式很好的对应起来。

　　在协方差矩阵Σ中，(i,j)元素是X向量中第i个和第j个元素的协方差：　　

　　我们这里考虑的协方差矩阵都是实对称矩阵。根据线性代数理论，所有N×N的实对称矩阵都有N个线性无关的特征向量，并且这些特征向量都可以正交单位化而得到一组正交且模为1的向量（参考wiki谱分解），以二维矩阵为例：

　　

　　因此，协方差矩阵可以表示为以下形式(x,u一样，都是特征向量的单位正交形式)：

　　

　　又因为中间的是对角矩阵，我们很容易的就可以得到它的逆矩阵：

　　

　　我们现在回到高斯分布的公式上，定义以下的二次型：

　　

　　将我们推导的协方差矩阵的拟带入上式，可得： 　　　　

　　其中再定义：

　　

　　==》

　　

　　其中U是一个正交矩阵；以二维数据为例，高斯分布为一个椭圆曲面（所有特征值为正的情况下），椭圆中心为μ，椭圆轴的方向沿着u_i，缩放因子为λ^1/2.示意图如下：