KL 散度理解

在深度学习中经常用到的一个概念是 KL散度。之前对KL散度进行过一次理解，但后来随着利用次数的减少，开始忘却其具体的定义与物理意义，仅在印象中记得是“描述两个分布的相似度的度量”。这个描述并不准确。为了便于以后查找回顾，这里再次把KL散度的相关理解整理下来。 KL 散度,全称 Kullback-Leible divergence, 是用于度量一个拟合分布Q与标准分布P的差异的一种方法，它是非对称的

>>阅读原文<<