三、EM算法与高斯混合模型

3.1 高斯混合模型

1. 高斯混合模型(Gaussian mixture model,GMM)：指的是具有下列形式的概率分布模型：

   

   其中 是系数，满足 ：

   • 。
   • 是高斯分布密度函数，称作第 个分模型， ：

   

2. 如果用其他的概率分布密度函数代替上式中的高斯分布密度函数，则称为一般混合模型。

3.2 参数估计

1. 假设观察数据 由高斯混合模型 生成，其中 。

   可以通过EM算法估计高斯混合模型的参数 。

2. 可以设想观察数据 是这样产生的：

   • 首先以概率 选择第 个分模型 。
   • 然后以第 个分模型的概率分布 生成观察数据 。

   这样，观察数据 是已知的，观测数据 来自哪个分模型是未知的。

   对观察变量 ，定义隐变量 ，其中 。

3. 完全数据的对数似然函数为：

   

   其对数为：

   

   后验概率为：

   

   即：。

   则 函数为：

   

   求极大值： 。

   根据偏导数为 0，以及 得到：

   • ：

     

     其中： ，其物理意义为：所有的观测数据 中，产生自第 个分模型的观测数据的数量。

   • ：

     

     其中： ，其物理意义为：所有的观测数据 中，产生自第 个分模型的观测数据的总和。

   • ：

     

     其中： ，其物理意义为：所有的观测数据 中，产生自第 个分模型的观测数据，偏离第 个模型的均值（ ）的平方和。

4. 高斯混合模型参数估计的EM算法：

   • 输入：

     • 观察数据
     • 高斯混合模型的分量数

   • 输出：高斯混合模型参数

   • 算法步骤：

     • 随机初始化参数 。

     • 根据 迭代求解 ，停止条件为：对数似然函数值或者参数估计值收敛。

       

       其中：

       • 。

         其物理意义为：所有的观测数据 中，产生自第 个分模型的观测数据的数量。

       • 。

         其物理意义为：所有的观测数据 中，产生自第 个分模型的观测数据的总和。

       • 。

         其物理意义为：所有的观测数据 中，产生自第 个分模型的观测数据，偏离第 个模型的均值（ ）的平方和。