KL散度(Kullback-Leibler Divergence)

今天开始来讲相对熵，我们知道信息熵反应了一个系统的有序化程度，一个系统越是有序，那么它的信息熵就越低，反之就越高。下面是熵的定义   如果一个随机变量的可能取值为，对应的概率为，则随机变 量的熵定义为                  有了信息熵的定义，接下来开始学习相对熵。 熵是随机变量不确定性的度量，不确定性越大，熵就越大，如果是常量，就是零。不确定性度量的本质就是信息量的期望。均匀分布是最不

>>阅读原文<<