相对熵（KL散度）

今天开始来说相对熵，咱们知道信息熵反应了一个系统的有序化程度，一个系统越是有序，那么它的信息熵就越低，反git 之就越高。下面是熵的定义github   若是一个随机变量的可能取值为，对应的几率为，则随机变函数 量的熵定义为学习                  有了信息熵的定义，接下来开始学习相对熵。编码   Contentsspa      1. 相对熵的认识get    2. 相对熵的性质i

>>阅读原文<<