决策树算法-ID3、C4.5和CART

算法对比 线性模型与决策树模型的对比： 线性模型是将所有的特征转变为概率，并对所有的特征加权求和，从而对模型进行分类，只能找到线性分割，而决策树模型是一个一个特征的进行处理，对每一个特征进行划分，可以找到非线性分割；   决策树算法ID3 ID3算法是一种贪心算法，用来构建决策树，ID3起源于概念学习系统，以信息熵的下降速度为选取测试属性的标准；即在每个节点选取还尚未被用来划分的具有最高信息增益的

>>阅读原文<<