下面我们来定义条件熵

由上一篇介绍的信息熵，现在我们来引出条件熵的概念： 在给定X的条件下，Y的条件概率分布的熵对于X的数学期望。 现在设有随机变量(X,Y),其联合概率分布为： 条件熵H(Y|X)表示在随机变量X的条件下随机变量Y的不确定性。 下面给出条件熵的公式推导： 注意，这个条件熵，不是指在给定某个数（某个变量为某个值）的情况下，另一个变量的熵是多少，变量的不确定性是多少？而是期望！ 因为条件熵中X也是一个变量

>>阅读原文<<