自信息、香农熵、互信息、交叉熵、KL散度备忘录

机器学习中相关信息度量的备忘录 自信息 自信息(self-information)用来衡量单一随机事件发生时所包含的信息量的多寡。 I(pi)=−log(pi) I ( p i ) = − l o g ( p i ) 香农熵 香农熵是随机事件X的所有可能结果的自信息期望值。 H(x)=Ex∼P[I(x)]=−∑i=1np(xi)I(xi)=−∑i=1np(xi)logb(p(xi)) H ( x

>>阅读原文<<