KL散度(Kullback-Leibler_divergence)

KL-divergence，俗称KL距离，常用来衡量两个概率分布的距离。 1. 根据shannon的信息论，给定一个字符集的概率分布，我们可以设计一种编码，使得表示该字符集组成的字符串平均需要的比特数最少。假设这个字符集是X，对x∈X，其出现概率为P(x)，那么其最优编码平均需要的比特数等于这个字符集的熵： a.当log以2为底的时候称之为 bits,结果可以视为多少个二进制位可以表示该变量 b.

>>阅读原文<<