熵

信息量 表示话题的惊爆程度，越冷门信息量越大，计算公式是I(x0)=−log(p(x0))，p(x0)在介绍贝叶斯的曾经出现过，代表的是x0出现的概率。可以从公式中看得出x0出现的概率越大，I(x0)越小，p趋于1时I趋于0；反之p趋于0时I趋于无限大。 log的线性图： 例如中国乒乓球获得世界冠军，因为概率太大了，不会引起大家的注意，所以信息量就很小。但是国足勇得世界杯！会震惊整个世界，那个信息

>>阅读原文<<