离散变量熵计算及matlab应用

根据熵、联合熵、条件熵、相对熵、互信息等可以计算多属性决策的权重，因此，需要了解各种离散熵的计算。 一、信息熵的概念 1948年，香农Claude E. Shannon引入信息（熵），将其定义为离散随机事件的出现概率。一个系统越是有序，信息熵就越低；反之，一个系统越是混乱，信息熵就越高。所以说，信息熵可以被认为是系统有序化程度的一个度量。 （三）条件熵 在随机变量X发生的前提下，随机变量Y发生所新

>>阅读原文<<