KL-divergence

看论文1的时候遇到的，该论文首先得出了衡量两个概率分布之间的距离的公式，目标函数是使这两个概率之间的距离d( · , · )尽可能小，但是由于比较难算，因此用计算KL-divergence代替d( · , · )，一时不知这是什么，因此上网查了KL-divergence，胡乱总结2如下 KL-divergence又叫相对熵(relative entropy)，衡量两个概率分布之间的不同程度。作用在

>>阅读原文<<