详解熵、最大熵、联合熵和条件熵、相对熵以及互信息之间的关系

信息量的定义 某事件发生的概率小，则该事件的信息量大。 定义随机变量 X X 的概率分布为 P(X) P ( X ) , X X 的信息量为： h(X)=−log2P(X) h ( X ) = − log 2 P ( X ) . 熵 对随机事件的信息量求期望，得到随机变量X的熵： H(X)=−∑x∈XP(x)logP(x) 当对数底数是2时，单位是bit，当对数底数是e时，单位是nat(奈特)。同

>>阅读原文<<