十、最大熵模型与EM算法

一、最大熵模型 1、熵 联合熵和条件熵 相对熵 交叉熵 互信息 总结 2、最大熵模型 二、EM算法（期望最大化算法） 三、GMM 一、最大熵模型 lnx<=x−1 l n x <= x − 1 证明： f(x)=x−1−lnx,x>0 f ( x ) = x − 1 − l n x , x > 0 ，求导是凸函数，在x=1处取得极值 1、熵 熵是信息的度量，与信息量成反比。 信息量： h(xi)=

>>阅读原文<<