多元高斯分布

Posted 2022-08-18 long5683

让我们回到小球检测的栗子，在一元高斯分布下，我们只使用了色相值这一个性质。然而，颜色其实是用多个维度来定义的。比如，在HSV模型下，除了色相值还有饱和度（Saturation）和亮度（Value）。而我们通常使用的三原色光模式（RGB模型）将颜色表示成红色（R）、绿色（G）和蓝色（B）的叠加。如果我们用RGB值来表示一个颜色，怎样表示我们栗子中的小球呢？我们将图片中所有像素点的RGB值用散点图的形式画出来可以得到下面的图：

那我们怎样对这种图形进行建模呢？如这一节的题目所说，我们将一元高斯分布扩展到多元高斯分布并对RGB值进行建模。
让我们首先来介绍多元高斯分布的数学形式吧：

多元高斯分布和一元高斯分布是十分相似的，我们用加粗的来表示变量（一个向量），表示维度（元的数目），加粗的表示平均向量，大写的表示协方差矩阵（Covariance Matrix，是一个方阵），表示的行列式值，表示矩阵的转置。

值得一提的是协方差矩阵，它由两部分组成，方差（Variance）和相关性（Correlation），对角线上的值表示方差，非对角线上的值表示维度之间的相关性。拿一个二维协方差矩阵作栗子：

 

其中，对角线上的和分别表示变量和的独立方差，非对角线上的表示两个变量之间的相关性（注意和是相等的）。

 

回到小球检测的栗子，我们考虑用RGB来对“红色”小球进行多元高斯分布的建模，那么各个参数就如下图所示了：

 

我们来看一下标准二元高斯分布图：

 

 

2、求解多元高斯分布：最大似然估计

和求解一元高斯分布类似，我们将问题描述为：给定观测值，求和，使得似然函数最大：

同样，假设观测值两两相互独立，根据独立概率公式，我们有：

同样（1）取对数，（2）将多元高斯分布的形式带入，我们有：

我们给目标函数做个记号，令

我们仍然分别对和求偏导来计算和。（这里需要矩阵求导的知识，可以参考Matrix Calculus Manual）

求得，