机器学习基础-22:信息论和信息熵

信息论和信息熵 机器学习原理与实践(开源图书)-总目录，建议收藏，告别碎片阅读！html 熵的概念最先起源于物理学，用于度量一个热力学系统的无序程度。在信息论里则叫信息量,即熵是对不肯定性的度量。从控制论的角度来看，应叫不肯定性。信息论的创始人香农在其著做《通讯的数学理论》中提出了创建在几率统计模型上的信息度量。他把信息定义为“用来消除不肯定性的东西”。在信息世界，熵越高，则能传输越多的信息，熵越

>>阅读原文<<