机器学习中的各种熵

请听题:什么是熵？什么是交叉熵？什么是联合熵？什么是条件熵？什么是相对熵？它们的联系与区别是什么？ 1 从随机变量说起 假设有一枚硬币，将其抛出，落下后朝上的面为y。 其中，y是对未知量的一个表示。但它的值却是不确定的，可能取正面和反面两个值。 这类包含不确定性的变量称为随机变量。统计学就是研究这类不确定性变量的工具。 刻画随机变量最有力的一个工具就是它的概率分布。有了概率分布，可以说对一个随机变

>>阅读原文<<