KL散度(Kullback-Leibler Divergence)

今天开始来说相对熵，咱们知道信息熵反应了一个系统的有序化程度，一个系统越是有序，那么它的信息熵就越低，反之就越高。下面是熵的定义函数   若是一个随机变量的可能取值为，对应的几率为，则随机变学习 量的熵定义为编码                  有了信息熵的定义，接下来开始学习相对熵。spa 熵是随机变量不肯定性的度量，不肯定性越大，熵就越大，若是是常量，就是零。不肯定性度量的本质就是信息量的指

>>阅读原文<<