熵的通俗理解

上次说了有关熵、条件熵、相对熵、互信息的概念及其之间的关系。为了更好的了解熵，这次谈一谈熵的通俗理解。 1. 公式及其含义 2.信息量 3. 由信息量想到的 4. 信息熵 1. 公式及其含义 熵的公式： 熵的含义： 样本集合不纯度，熵越小，集合不纯度越低； 知识的不确定性，熵越小，不确定性越小； 系统的复杂度，熵越大，系统越复杂。（系统越复杂，出现不同情况越多，信息量越大，熵越大。） 2. 信息量

>>阅读原文<<