决策树-剪枝算法（二）

ID3算法的的原理，它是以信息熵为度量，用于决策树节点的属性选择，每次优选信息量最多 的属性，以构造一颗熵值下降最快的决策树，到叶子节点处的熵值为0，此时每个叶子节点对应的实例集中的实例属于同一类。 理想的决策树有三种： 1.叶子节点数最少 2.叶子加点深度最小 3.叶子节点数最少且叶子节点深度最小。 在实际的操作中还会设计到ID3算法的收敛，过度拟合等问题下面依次进行描述 1.ID算法收敛 2.

>>阅读原文<<