Kullback–Leibler divergence(相对熵，KL距离，KL散度)

1 前言 注意两个名词的区别：html 相对熵：Kullback–Leibler divergence算法 交叉熵：cross entropy微信   KL距离的几个用途：网络 ① 衡量两个几率分布的差别。机器学习 ② 衡量利用几率分布Q 拟合几率分布P 时的能量损耗，也就是说拟合之后丢失了多少的信息，能够参考前面曲线拟合的思想。函数 ③ 对①的另外一种说法，就是衡量两个几率分布的类似度，在运动捕

>>阅读原文<<