EM算法——一步步推导

时间 2021-08-15 标签 EM算法推导机器学习

可观测数据Y，不可观测数据Z，模型参数为 Θ ，那么我们的目标就是(极大似然函数)：

max Θ \prod i = 1 m p (x i; Θ)

log似然函数：

max Θ \sum i = 1 m log p (x i; Θ)

加入隐变量：

max Θ \sum i = 1 m log \sum z i p (x i, z i; Θ)

令

L (Θ) = \sum i = 1 m log \sum z i p (x i, z i; Θ)

其实到这里，我们可以尝试对似然函数求偏导，令其为0，求解参数，但是发现这个函数由于和的对数的存在，变得无法求解。

所以事实上，EM算法是通过迭代逐步近似极大化 L(Θ) 的。我们可以对式子做一些变换。

L (Θ) = \sum i = 1 m log \sum z i Q (z i) p (x i, z i; Θ) Q (z i)

其中 Q(zi) 为隐变量的概率分布。

这里插入一点凹函数的性质，如果一个函数f(x)的二阶导数f”(x) >= 0, 那么：

f (E [x]) \geq E [f (x)]

如果f”(x) > 0,那么该凹函数为严格凹函数，那么等号成立当且仅当x为常数, 或者说 p( x = E[x] ) = 1。

而 ∑ziQ(zi)p(xi,zi;Θ)Q(zi) 可以看做是在求期望，并且函数logx的二阶导数为-1/x^2 < 0,　所以为严格凹函数，所以：

L (Θ) = \sum i = 1 m log \sum z i Q (z i) p (x i, z i; Θ) Q (z i) = \sum i = 1 m log E [p (x i, z i; Θ) Q (z i)] \geq \sum i = 1 m E [log p (x i, z i; Θ) Q (z i)] = \sum i = 1 m Q (z i) log p (x i, z i; Θ) Q (z i)

为了让上面严格凸函数的等号成立，也就是为了让 L(Θ) 的下界紧贴，我们令

p (x i, z i; Θ) Q (z i) = c

其中ｃ为常数.
而且

Q (z i) = p (x i, z i; Θ) \sum z i p (x i, z; Θ) = p (x i, z i; Θ) p (x i; Θ) = p (z i; x i, Θ)

所以EM算法，先随机初始化参数 Θ ：

E-step：

Q (z i) = p (z i; x i, Θ)

M-step:

Θ = arg max Θ \sum i = 1 m Q (z i) log p (x i, z i; Θ) Q (z i)

所以EM算法是一个不断更新下界，不断最大化下界的过程。

具体在M-step我们还有个约束

\sum i = 1 K Q (z i) = 1

我们可以用拉格朗日函数来求偏导，从而得到参数的值。