EM算法之高斯混合模型详细推导过程
高斯混合模型html
若是有c个高斯分布，而且这k个个高斯分布的选择都符合多项式分布，那么有下面的公式算法
那么样本x 是一个服从多元高斯分布的随机试验中产生的抽样函数
那么能够写出关于样本值（第i个样本）的几率密度函数,假设一共c个类别优化
那么咱们能够定义m个观测样本的对数似然函数spa
对数复合函数求导公式
code
代入上面的值进一步能够写成下面的式子
htm
因为对第k个正态分布的均值求偏导，所以除第k个正态分布外，其余分部不包含第k个正态分布均值的信息，
blog
再利用对数复合函数求导获得ip
求和符号后面这一部分看出是什么了吗？这不是条件几率么？ci
整理获得
对多元正态分布函数取对数
对多元正态分布函数取对数后求第k个份量均值的偏导数
若是令,那么进一步获得
其中
将该结论代入上面的公式整理获得
咱们要最大化释然函数，必然要求对各个估计参数的偏导要等于0
其中,那么获得
解出
下面对第K个份量的方差求偏导
第k个份量更其余的不相关，所以对第k个份量求方差的偏导有下面的公式
利用以下公式
因为是标量，所以标量的迹等于本身，获得下面的公式
再利用迹的性质
那么利用这个策略能够获得下面的结论
通过这么多的计算后，终于能够获得对第k个份量求协方差的偏导了
那么似然函数对第k个份量的协方差的偏导以下：
要使得似然函数取最大，就要使得对协方差的偏导为0，那么有以下结论：
由于对协方差的偏导为0，那么有下面结论
这里的协方差是一个实对称正，所以其转置等于自身，为何是对称的呢？
对上面式子左乘和右乘一个协方差阵获得：
那么能够获得以下关于协方差的值，使得释然函数最大
到这里已经把混合高斯分布关于均值和协方差的参数值求出来了，下面还剩一个关于k个份量的比例的问题了
如今来看在各个份量的条件下要使得释然函数最大，这是一个优化问题
那么须要利用拉格朗日方法来求关于份量的估计
构造拉格朗日目标函数以下：
对拉格朗日目标函数求份量的偏导
上面是利用了对数求导的性质
那么要使得拉格朗日目标函数取得0，有下面的结论
整理获得
因为有条件，那么进一步获得
将这个结果带人第k个份量获得
其中
自此，获得了关于均值，协方差，和份量这三个参数的估计公式，总结以下
到这里，理论的推导彷佛已经完成了，可是事情尚未结束
从上面的结论看，均值，方差阵，和份量几率的估计都用到了,这是估计一个点由某一个份量生成的几率
为了获得这个几率，咱们又要用到
其中又包含了咱们待估计的均值，方差阵等参数，这样就是会产生一个互相依赖的状况，鸡依赖蛋，蛋依赖鸡的问题，对这种问题，通常的解决办法先弄一个蛋来孵化一个鸡出来，而后在让这只鸡来孵化蛋，无论先出现那一个，后面的一个都是跟着相应的变化，最后获得答案来。
想一下坐标上升法里面的作法，先固定其余的量，求其中一个参数的最大值，而后依次轮换坐标来求最大，最后会获得一个
稳定的值，只不过这个极值是局部的，后面专门讲EM算法会专门讲这个问题，这里就先用这个思想来处理
如今来看看具体的求某一个点由某个份量生成的几率
为了让蛋孵鸡，鸡生蛋，咱们须要先要弄一个蛋出来，这个蛋就是，均值，方差阵，份量几率的初始值
下面把流程总结一下
先构造一个鸡蛋出来
计算某个点由某个份量生成的几率（孵小鸡），直到收敛
从新构造鸡蛋（鸡生蛋）
跳转到第二步
可是为了理解上得方便，这里给出一个二维状况下得例子
假设有3个份量，分别以下
注意事项：
1. 初始值的选择
份量要作归一化处理
均值能够随机产生
方差，须要保证是对称阵和行列式大于0,也就是正定阵，非奇异性
不然计算会错误
2. 样本点数小于特征数量
计算的协方差阵是奇异的，所以须要对协方差作相应的假设，好比是对角阵甚至是对角阵元素相同
这种假设过强，忽略了特征直接的依赖关系，当对角阵元素都相同的时候，就退化成特征直接是独立的了
所以能够考虑其余的如因子分析等方法
参考以下：
http://www.cnblogs.com/jerrylead/archive/2011/05/11/2043317.html
详细推导过程
http://www.cs.cmu.edu/~awm/doc/gmm-algebra.pdf
http://www.docin.com/p-110400201.html