信息量和信息熵的理解

       信息量和信息熵的概念最早是出现在通信理论中的，其概念最早是由信息论鼻祖香农在其经典的paper《A Mathematical Theory of Communication》中提出的。如今，这些概念不仅仅是通信领域中的基础概念，也被广泛的应用到了其他的领域中，比如机器学习。如果跳出历史语境，跳出逻辑背景，那么这些概念是很抽象的，所以本文旨在结合历史语境，给这些概念提供一个相对直观的解

>>阅读原文<<