相对熵

转载：相对熵（KL散度） 今天开始来讲相对熵，我们知道信息熵反应了一个系统的有序化程度，一个系统越是有序，那么它的信息熵就越低，反 之就越高。下面是熵的定义   如果一个随机变量的可能取值为，对应的概率为，则随机变 量的熵定义为                  有了信息熵的定义，接下来开始学习相对熵。   Contents      1. 相对熵的认识    2. 相对熵的性质    3. 相对

>>阅读原文<<