信息论模型-熵问题和互信量

熵(entropy)的定义： （1）离散熵。 离散型随机变量 X X X, X X X的熵为 H ( X ) = − ∑ x P ( x ) log ⁡ ( P ( x ) ) H(X)=-\sum_{x}P(x)\log(P(x)) H(X)=−x∑​P(x)log(P(x)) 熵的意义在于衡量了变量的不确定性。熵越大，不确定性越大，包含的信息量越大。太阳从东边出来的可能性为1，从西边为0，此时

>>阅读原文<<