《机器学习实战》笔记之三——决策树ID3算法

1.决策树 K近邻可以完成很多分类任务，但其无法给出数据的内在含义。 构造决策树的基本思想是随着树深度的增加，熵也随着下降。怎么使熵下降的迅速，还能保证树的高度不高。 本节将通过算法一步步地构造决策树，并会涉及很多有趣的细节。首先我们讨论数学上如何使用信息论划分数据集（本节使用ID3算法划分数据集），然后编写代码将理论应用到具体的数据集上，最后编写代码构建决策树。 怎么找到决定性的特征，划分最好的

>>阅读原文<<