数学之美--信息的度量和作用--信息熵，条件熵和交叉熵

保留初心，砥砺前行 这一章节讲解的是关于信息的某些度量。 我们常常说信息很多，或者信息较少，但却很难说清楚信息到底有多少。……直到1948年，Shannon在他著名的论文“通信的数学原理”中提出了“信息熵”的概念，才解决了信息的度量问题，并且量化出信息的作用。 信息熵 首先，我们可以记住的是，信息熵一般使用符号H来表示，单位是比特。接下来，看一个书中给出的例子： 当我错过了上一届世界杯的比赛，而想

>>阅读原文<<