信息熵，交叉熵，KL散度（机器学习笔记）

0 引入 读论文的时候遇到了如下损失函数： (2)式第一部分为二元交叉熵，第二部分为“类KL散度”（其中λ是人为设置的参数），(3)式为(2)式第二部分具体表达式。 我不是很了解交叉熵的概念，因此我查阅了一些资料，顺便记载下来。 1 信息熵，交叉熵，KL散度   记号 表达式 意义 信息熵 H(p) 信息量的期望值 交叉熵 H(p,q) 用错误(预测)分布q来表示来自真实分布p的平均编码长度 KL

>>阅读原文<<