信息熵，交叉熵和相对熵

目录 0.总述 1.信息熵 2.交叉熵 3.相对熵/KL散度(Kullback-Leibler divergence), 亦可称为KL距离 4.举例 5.参考资料 0.总述 现在有两个分布，真实分布p和非真实分布q，我们的样本来自真实分布p。 按照真实分布p来编码样本所需的编码长度的期望为，这就是信息熵H( p ) 按照不真实分布q来编码样本所需的编码长度的期望为，这就是所谓的交叉熵H( p,q

>>阅读原文<<