信息熵

某事件的发生概率越小，表示这个事件的不确定性越高，这种不确定性定义为信息量（ amount of information），即概率越小，事件的信息量越大。通常用公式 h(x)=−log2x 表示事件 x 发生的信息量。 定义熵（ entropy）为信息量的期望： H(x)=−∑x∈Xp(x)lnp(x) 熵是随机变量不确定性的度量，不确定性越大，熵值越大，当随机变量均匀分布的时候熵值最大，当随机变

>>阅读原文<<