关于“熵”学习详细笔记——什么是熵？有什么性质？联合熵等其他熵的作用

熵大概是统计学、信息学中最让人纠结的基本概念之一。很多的人对于熵是什么多多少少能说出一二，但是不能准确的表达出来。我们都知道熵可以用来描述含有的信息丰富程度的多少，但具体指什么呢？ 在讲到熵之前，在这里我先讲一个“自信息” 目录 1.自信息（信息量） 2.熵的引入 3.信息熵（香农熵） 3.1基本性质或特点 1）基本性质1： 若事件x的所有状态n发生概率都一致，即都为1/n，那么信息熵H(x)有极

>>阅读原文<<