K-L散度（相对熵）的理解

信息量 I I I 消息中有意义的内容成为信息。信息量函数： I = − l n p i I=-lnp_i I=−lnpi​其中， p i p_i pi​是事件 x i x_i xi​的发生几率。html 信息熵 H H H 它是用来对信息度量，描述信息的多于少的问题。公式为 H = − ∑ i = 1 N p ( x i ) ⋅ l o g   p ( x i ) H=-\sum_{i=1}^{

>>阅读原文<<