香农熵

在1948年，Glaude Shannon发表了文章《A Mathematical Theory of Communication》首次提出了革命性的概念“信息熵”。 物理中的熵 熵也是物理中的一个概念。简单来说，如果一个系统中的粒子在运动过程中有很多可能的位置，那么这个系统具有比较高的熵值，反之，如果系统中的粒子处于静止状态（粒子的位置相对固定），则系统具有很低的熵值。 例如，水有三种状态：固液

>>阅读原文<<