信息论基础（包含最大熵模型）

一，基础 1，熵 如果X 是一个离散型随机变量，其概率分布为 p(x)=P(X=x) p ( x ) = P ( X = x ) ， x∈R x ∈ R 。X 的熵H(X) 为 H(X)=−∑x∈Rp(x)log2p(x) H ( X ) = − ∑ x ∈ R p ( x ) l o g 2 p ( x ) 其中，约定0log 0 = 0。 H(X) 也可以写为H(p)。通常熵的单位为二进制位比

>>阅读原文<<