AI理论知识基础（26）-相对熵,KL散度

相对熵（relative entropy），又被称为 KL散度、Kullback-Leibler散度（Kullback-Leibler divergence）或信息散度（information divergence），是两个概率分布（probability distribution）间差异的非对称性度量 。在信息理论中，相对熵等价于两个概率分布的信息熵（Shannon entropy）的差值 相对

>>阅读原文<<