EM

EM

1. 基本问题

EM算法是解决带有隐变量模型的方法，基本的模型假设为

因为引入了隐变量 ，使得咱们没法经过对 求偏导获得最优解。

2. 推导

根据jesen不等式，对于凹函数，有

其中， ，当且仅当 时，“=”成立。而 是凹函数，所以

且

时，等号成立，取得最紧的下界。
也即

所以，当取得最紧的下界时，任何使得下界提高的都能使提高

3. 算法流程

输入：观测变量数据，隐变量数据，联合分布，条件分布
输出：模型参数
（1）选择参数的初值
（2）E step: 计算在下最紧的下界

（3）M step：