通俗理解决策树算法中的信息增益

在决策树算法的学习过程中，信息增益是特征选择的一个重要指标，它定义为一个特征能够为分类系统带来多少信息，带来的信息越多，说明该特征越重要，相应的信息增益也就越大。 1   概念 我们前面说了，信息熵是代表随机变量的复杂度（不确定度）通俗理解信息熵，条件熵代表在某一个条件下，随机变量的复杂度（不确定度）通俗理解条件熵 而我们的信息增益恰好是：信息熵-条件熵。 换句话说，信息增益代表了在一个条件下，信

>>阅读原文<<