11.1Gauss混合模型

文档摘要

11.1 Gauss 混合模型高斯混合模型是一种密度模型，我们将有限数量的K个高斯分布$N(x | \mu{k}, \sum {k})$组合起来，使得： $$ \begin{align} p(\boldsymbol{x}\mid\theta)=\sum{k=1}^K\pik\,\mathcal{N}\left(\boldsymbol{x}\mid\boldsymbol{\mu}k,\boldsymbol{\Sigma}k\right) \tag{11.3}\\ 0 \leqslant \pi{k} \leqslant 1, \quad \sum\limits{k=1}^{K} \pi{k} = 1\tag{11.

11.1 Gauss 混合模型

高斯混合模型是一种密度模型，我们将有限数量的K个高斯分布N(x | \mu_{k}, \sum _{k})组合起来，使得：

\begin{align} p(\boldsymbol{x}\mid\theta)=\sum_{k=1}^K\pi_k\,\mathcal{N}\left(\boldsymbol{x}\mid\boldsymbol{\mu}_k,\boldsymbol{\Sigma}_k\right) \tag{11.3}\\ 0 \leqslant \pi_{k} \leqslant 1, \quad \sum\limits_{k=1}^{K} \pi_{k} = 1\tag{11.4} \end{align}

其中，我们将\theta := {\mu_{k}, \sum _{k}, \pi_{k}: k = 1, ..., K}定义为模型所有参数的集合。这种高斯分布的凸组合为我们建模复杂密度提供了比简单高斯分布（当K = 1时，我们可以从（11.3）中得到简单高斯分布）显著更多的灵活性。图11.2给出了一个示例，展示了加权分量和混合密度，其表达式为：

p(x\mid\theta)= {\color{blue} 0.5\mathcal{N}\left(x\mid-2,\frac{1}{2}\right) } + {\color{orange} 0.2\mathcal{N}\left(x\mid 1,2\right) } + {\color{green} 0.3\mathcal{N}\left(x\mid 4,1\right) } . \tag{11.5}

$alt text$ 图11.2 高斯混合模型。高斯混合分布（黑色）由高斯分布的凸组合组成，比任何单个分量都更具表达能力。虚线表示加权的高斯分量。 $alt text$