正向跟反向KL距离到底有什么区别?

如果我们要用一个分布q去近似一个分布p,我们一般的做法都是去优化一个KL距离使得他最小,但是KL距离是一个不对称的距离,那么我们优化 KL(q||p) K L ( q | | p ) 跟 KL(p||q) K L ( p | | q ) 的区别在哪里? 首先考虑第一种KL距离 KL(p||q) K L ( p | | q ) ,也被称为M-projection 或 moment projectio
相关文章
相关标签/搜索