数学基础-熵及其在机器学习中的应用

熵 熵是用来衡量变量不确定性的指标，变量的不确定性越大，熵也就越大，把它搞清楚所需要的信息量就越大，用样本的分布衡量平均编码长度。熵的表达式为 H(p)=−∑p(i)∗logp(i) H ( p ) = − ∑ p ( i ) ∗ log ⁡ p ( i ) ，例如盒子里有4个颜色的求，每个球的概率是 14 1 4 ，那么需要的平均编码长度为2。从下图中可以看出一件事我们越难猜测是否会发生，它的信

>>阅读原文<<