KL散度(Kullback-Leibler_divergence)
KL-divergence，俗称KL距离，常用来衡量两个概率分布的距离。 1. 根据shannon的信息论，给定一个字符集的概率分布，我们可以设计一种编码，使得表示该字符集组成的字符串平均需要的比特数最少。假设这个字符集是X，对x∈X，其出现概率为P(x)，那么其最优编码平均需要的比特数等于这个字符集的熵： a.当log以2为底的时候称之为 bits,结果可以视为多少个二进制位可以表示该变量 b.
相关文章
- 1. KL Divergence KL散度
- 2. KL散度
- 3. KL 散度理解
- 4. 浅谈KL散度
- 5. 正向KL散度与反向KL散度
- 6. KL散度、JS散度、Wasserstein距离
- 7. 一文了解KL散度(KL Divergence)
- 8. 从KL散度到MLE
- 9. KL散度——相对熵
- 10. 相对熵——KL散度
- 更多相关文章...
- • PHP 获取图像宽度与高度 - PHP参考手册
- • R 绘图 - 散点图 - R 语言教程
- • 算法总结-广度优先算法
- • 算法总结-深度优先算法
相关标签/搜索
每日一句
-
每一个你不满意的现在，都有一个你没有努力的曾经。
欢迎关注本站公众号,获取更多信息
相关文章
- 1. KL Divergence KL散度
- 2. KL散度
- 3. KL 散度理解
- 4. 浅谈KL散度
- 5. 正向KL散度与反向KL散度
- 6. KL散度、JS散度、Wasserstein距离
- 7. 一文了解KL散度(KL Divergence)
- 8. 从KL散度到MLE
- 9. KL散度——相对熵
- 10. 相对熵——KL散度