联合熵、条件熵、互信息、相对熵、交叉熵的详解

本篇博客，我们将介绍联合熵、条件熵、互信息、相对熵、交叉熵，如果对熵的概念还有不清楚的朋友，可以看一下这一篇博客，信息熵是什么呢？ https://blog.csdn.net/ding_programmer/article/details/89785319 联合熵 两个离散随机变量  和  的联合概率分布函数为 ，则联合熵 (Joint Entropy) 为：   联合熵实际上就是描述一对随机变量

>>阅读原文<<