《机器学习》（二）决策树算法

一、ID3算法     ID3算法的核心要义是在决策树各个结点上应用信息增益准则选择最好的特征，递归地构建决策树。具体方法是：从根结点开始，对结点计算所有可能的特征的信息增益，选择信息增益最大的特征作为结点的特征，由该结点的不同取值建立子结点；再对子结点递归地调用以上方法，构建决策树；直到所有特征的信息增益均很小或没有特征可以选择为止。最后得到一个决策树。 需要记住的两个公式： 熵： 信息增益：

>>阅读原文<<