[机器学习]决策树中的信息增益和信息增益比

一、特征选择中的信息增益 什么是信息增益？ 信息增益是特征选择中的一个重要的指标，它定义为一个特征能为分类系统带来多少信息，信息越多，该特征就越重要。 这样就又有一个问题：如何衡量一个特征为分类系统带来了多少信息呢？ 对一个特征而言，系统有它的时候和没有它的时候信息量将会发生变化，前后的信息量的差值就是这个特征给系统带来的信息量。 信息量——在信息论中就是熵。 二、计算信息增益：利用熵 1.信息论

>>阅读原文<<