信息熵及其相关概念

1. 熵的定义是怎么来的？ 1.1 信息熵的三个性质 1.2 对信息熵三条性质的理解 1.3 回看信息熵定义 2. 伯努利分布熵的计算[3] 3. 两随机变量系统中熵的相关概念[4] 3.1 互信息 3.2 联合熵 3.3 条件熵 3.4 互信息、联合熵、条件熵之间的关系 4. 两分布系统中熵的相关概念[5] 4.1 交叉熵 4.2 相对熵 4.3 相对熵与交叉熵的关系 参考 转自个人博客 机器学

>>阅读原文<<