信息论总览

1.  前言    熵的概念最早起源于物理学，用于度量一个热力学系统的无序程度。    在信息论里则叫信息量,即熵是对不确定性的度量。信息论的创始人香农在其著作《通信的数学理论》中提出了建立在概率统计模型上的信息度量。他把信息定义为“用来消除不确定性的东西”。在信息世界，熵越高，则能传输越多的信息，熵越低，则意味着传输的信息越少。    当我们不知道某事物具体状态，却知道它有几种可能性时，显然，可

>>阅读原文<<