关于相对熵的推导证明和推论

相对熵可以衡量两个分布之间的不相似性，即 P 和 Q 两个分布越相似，相对熵越小，否则越大。 相对熵的公式是 D K L ( P ∣ ∣ Q ) = ∑ i p i log ⁡ p i q i D_{KL}(\mathrm{P} || \mathrm{Q}) = \sum_{i} p_i \log{\frac{p_i}{q_i}} DKL​(P∣∣Q)=i∑​pi​logqi​pi​​ 显然，当

>>阅读原文<<