从入门到弃坑之科普信息熵

相信通过这个回答的介绍，能够使一个对信息熵毫无了解的人，基本上明白信息熵是什么，以及有什么用。 熵的概念首先在热力学中引入，用于表述热力学第二定律。波尔兹曼研究得到，热力学熵与微观状态数目的对数之间存在联系，并给出了公式： S=k\ln W 这个公式也作为他最骄傲的成绩，刻在了他的墓碑上。信息熵的定义与上述这个热力学的熵，虽然不是一个东西，但是有一定的联系。熵在信息论中代表随机变量不确定度的度量。

>>阅读原文<<