相对熵——KL散度

信息熵反应了一个系统的有序化程度，一个系统越是有序，那么它的信息熵就越低，反之就越高。 熵的定义： 如果一个随机变量的可能取值为，对应的概率为，则随机变量的熵定义为              相对熵的定义：    相对熵又称互熵，交叉熵，鉴别信息，Kullback熵，Kullback-Leible散度（即KL散度）等。设和是取值的两个概率概率分布，则对的相对熵为                 

>>阅读原文<<