条件熵

条件熵 1  信息熵以及引出条件熵 我们首先知道信息熵是考虑该随机变量的所有可能取值，即所有可能发生事件所带来的信息量的期望。公式如下： 我们的条件熵的定义是：定义为X给定条件下，Y的条件概率分布的熵对X的数学期望   这个还是比较抽象，下面我们解释一下：   设有随机变量（X,Y），其联合概率分布为      条件熵H（Y|X）表示在已知随机变量X的条件下随机变量Y的不确定性。   随机变量X给

>>阅读原文<<