熵与信息增益随记

最近在一些地方用到了最大熵和信息增益的概念，所以回过头来重新复习了一下具体的概念。 熵与信息增益 在决策树算法中，决定特征优先级时，需要用到熵的概念，先挖个坑 1信息量 信息量是用来衡量一个事件的不确定性的；一个事件发生的概率越大，不确定性越小，则它所携带的信息量就越小。 2 熵 熵是用来衡量一个系统的混乱程度的，代表一个系统中信息量的总和；信息量总和越大，表明这个系统不确定性就越大。 信息量用来

>>阅读原文<<