自信息, 信息熵, 互信息和K-L散度

香农-信息论领域的牛顿 香农一辈子发表的文章并很少，可是篇篇都是精品。markdown Amethematical theory of communication通讯的数学理论函数 第一篇文章中提出了比特（bit）的概念。比特究竟测量的是什么呢？香农的回答是：用于测量信息的单位。在香农眼里，信息是和长度、重量这些物理量同样，是一种能够测量和规范的东西。因为对于通讯系统而言，其传递的信息具备随机性，

>>阅读原文<<