熵与信息增益

熵与信息增益 原文来自[熵与信息增益](http://blog.csdn.net/xg123321123/article/details/52864830) 在决策树算法中，决定特征优先级时，需要用到熵的概念，先挖个坑 1 信息量 信息量是用来衡量一个事件的不确定性的；一个事件发生的概率越大，不确定性越小，则它所携带的信息量就越小。 假设X是一个离散型随机变量，其取值集合为X的信息量为： I(x0

>>阅读原文<<