信息熵 交叉熵 相对熵 条件熵 互信息

文章目录 信息熵 交叉熵 相对熵 条件熵 互信息 信息熵 信源所有可能发生情况的平均不确定性。 交叉熵 衡量两个变量的概率分布的差异性。 相对熵 用模型来衡量真实情况所需要的额外信息。 相对熵越小，模型就越接近真实分布。 条件熵 表示在已知随机变量Y的条件下随机变量X的不确定性。 互信息 互信息(Mutual Information)可以被看成是一个随机变量中包含的关于另一个随机变量的信息量，或者

>>阅读原文<<