信息熵到底是什么

1、信息是我们一直在谈论的东西，但信息这个概念本身依然比较抽象。 在百度百科中的定义：信息，泛指人类社会传播的一切内容，指音讯、消息、通信系统传输和处理的对象。 但信息可不可以被量化，怎样量化？答案当然是有的，那就是“信息熵”。 早在1948年，香农(Shannon)在他著名的《通信的数学原理》论文中指出：“信息是用来消除随机不确定性的东西”，并提出了“信息熵”的概念（借用了热力学中熵的概念），来

>>阅读原文<<