信息熵、交叉熵与相对熵(KL散度)的关系，还介绍了联合信息熵和条件熵、互信息（信息增益）的概念

@(关于机器学习的其他)[KL散度][信息熵][交叉熵] 1、信息量 2、信息熵 3、交叉熵cross-entropy 3.1 交叉熵 cross-entropy在机器学习领域的作用 4、相对熵（KL散度） 4.1 相对熵（KL散度）与cross-entropy的关系 4.2 相对熵（KL散度）非负性证明 5、联合信息熵和条件信息熵 6、互信息（信息增益） 6.1 非负性证明 参考资料： 1、信息

>>阅读原文<<