机器学习：信息熵理解

    若是说几率是对事件肯定性的度量、那么信息（包括信息量和信息熵）就是对事物不肯定性的度量。信息熵是由香农（C.E.Shannon）在1948年发表的论文《通讯的数据理论（A Mathematical Theory of Communication）》中提出的概念。他借用热力学中热熵的概念（热熵是表示分子状态混乱程度的物理量），解决了对信息的量化度量问题，也经常使用来对不肯定性进行度量。htm

>>阅读原文<<