2020-10-18 三、相对熵（KL散度）

本文转自：https://blog.csdn.net/weixinhum/article/details/85064685 我们简单介绍了信息熵的概念，知道了信息熵可以表达数据的信息量大小，是信息处理一个非常重要的概念。 对于离散型随机变量，信息熵公式如下： H ( p ) = H ( X ) = E x ∼ p ( x ) [ − log ⁡ p ( x ) ] = − ∑ i = 1 n p

>>阅读原文<<