熵、相对熵、互信息

在学习AdaBoost之前,建议了解的预备知识,包括概率论(用于公式推导)、信息的基础知识,有利于理解算法思路的来龙去脉。此处附上原博客地址:http://www.javashuo.com/article/p-uvtaunis-dm.html 一.什么是熵 Ⅰ.信息量 首先考虑一个离散的随机变量x,当我们观察到这个变量的一个具体值的时候,我们接收到多少信息呢? 我们暂时把信息看做在学习x的值时候的
相关文章
相关标签/搜索