机器学习小知识：相对熵

相对熵又称互熵、交叉熵、KL散度、信息增益，是描述两个几率分布P和Q差别的一种方法，记为D(P||Q)。在信息论中，D(P||Q)表示当用几率分布Q来拟合真实分布P时，产生的信息损耗，其中P表示真实分布，Q表示P的拟合分布。（P,Q越类似，相对熵越小）微信 老羊快跑微信公众号、钉钉分享交流群以下。spa

>>阅读原文<<