《统计学习方法》笔记九 EM算法及其推广

本系列笔记内容参考来源为李航《统计学习方法》算法

EM算法是一种迭代算法,用于含有隐变量的几率模型参数的极大似然估计或极大后验几率估计。迭代由函数

(1)E步:求指望学习

(2)M步:求极大spa

组成,称为指望极大算法。3d

EM算法引入

 

EM算法是经过不断求解下界的极大化逼近求解对数似然函数极大化的算法。blog

EM在监督学习中的应用

收敛性

EM算法在高斯混合模型学习中的应用

高斯混合模型

高斯混合模型参数估计的EM算法

EM算法的推广

EM算法还可解释为F函数的极大-极大算法,基于这个解释有若干变形与推广。学习方法

首先引入F函数的概念变量