决策树剪枝

一、决策树的生成算法         基本的决策树生成算法主要有ID3和C4.5, 它们生成树的过程大致相似，ID3是采用的信息增益作为特征选择的度量，而C4.5采用信息增益比。构建过程如下：         1.从根节点开始，计算所有可能的特征的信息增益（互信息），选择计算结果最大的特征为根节点。         2.根据算出的特征建立子节点，执行第一步，直到所有特征的信息增益（互信息）很小或者

>>阅读原文<<