通过示例总结条件熵、交叉熵、相对熵、互信息

通过示例总结条件熵、交叉熵、相对熵、互信息 条件熵： H(Y|X)表示在已知随机变量X的条件下，随机变量Y的不确定性，H(Y|X)定义为：   举个例子：   有一堆西瓜，已知这堆西瓜的色泽，以及每种色泽对应好瓜和坏瓜的个数，如下所示，设X表示色泽，Y表示好瓜或者坏瓜。   则： 这个例子就是计算条件熵的一个过程，现在证明条件熵公式： 有很多书上的条件熵是这么定义的，如果继续化简就可以得到我们上面

>>阅读原文<<