神经网络数学基础-K L散度、JS 散度、Wasserstein 距离

目录 KL 散度 JS 散度 (Jensen-Shannon) Wasserstein 距离 KL 散度 KL散度又称为相对熵，信息散度，信息增益。KL 散度是是两个概率分布 和 差别的非对称性的度量。 KL 散度是用来度量使用基于 的编码来编码来自 的样本平均所需的额外的位元数。 典型情况下， 表示数据的真实分布， 表示数据的理论分布、模型分布，或 的近似分布。 定义如下： 因为对数函数是凸函数

>>阅读原文<<