高斯混合模型GMM

Posted 2022-12-15 zizi7

高斯混合模型（Gaussian Mixed Model）是多个高斯分布函数的线性组合，理论上可以拟合出任意类型的分布，通常用于无监督聚类问题

设随机变量$X$，高斯混合模型如下所示
$$p(x)=\sum _{k=1}^K{\pi }_{k}N(x|{\mu }_k,{\Sigma }_k)$$
其中$N(x|{\mu }_k,{\Sigma }_k)$是混合模型中的第$k$个分量
        ${\pi }_k$是每个分量的权重/概率

---

EM 估计GMM参数

由于${\pi }_k$的引入，GMM无法通过极大似然计算模型参数，不过我们可以使用EM算法迭代求解

---

GMM中EM算法步骤

假定有C个数据 $x_1,x_2,...,x_C$，需要将其聚类到包含$K$个子模型的GMM中
0）首先初始化参数
       ${\pi }_k$、${\mu }_k$、${\Sigma }_k$，$k=1,2,...K$

1）E-STEP
     根据当前参数，计算每个数据在每个子模型的概率
$${\gamma }_i^k=\frac{{\pi }_{k}N(x_i|{\mu }_k,{\Sigma }_k)}{{\sum }_{m=1}^K{\pi }_{m}N(x_i|{\mu }_m,{\Sigma }_m)},i=1,2,...,C;k=1,2,...,K\text{\hspace{1em}(1)}$$
2）M-STEP
     更新模型参数
$$\{\begin{array}{rlr}{\mu }_k& =& \frac{{\sum }_i^C{\gamma }_i^k{x}_i}{{\sum }_i^C{\gamma }_i^k}\\ {\Sigma }_k& =& \frac{{\sum }_i^C{\gamma }_i^k(x_i-{\mu }_k)(x_i-{\mu }_k{)}^T}{{\sum }_i^C{\gamma }_i^k}\\ {\pi }_k& =& \frac{{\sum }_{i=1}^C{\gamma }_i^k}{C}\end{array}\text{\hspace{1em}(2)}$$

重复E-STEP和M-STEP，直到参数收敛

---

EM算法推导

内容参考自小象学院的机器学习课程，讲的很好，推荐

EM算法一般推导

对于目标函数$p(x:\theta )$，取对数似然函数（连乘取对数）：
l ( θ ) = ∑ i = 1 M l o g   p ( x ; θ )                   = ∑ i = 1 M l o g