机器学习经典算法——决策树

1.决策树模型   决策树是一种基本的分类与回归方法，以建树的形式来做决策。   决策树学习的三个步骤：特征选择、生成决策树、决策树修剪。 2.特征选择 特征选择就是寻找属性来划分样本，随着划分过程不断进行，我们希望决策树的分支结点所包含的样本尽可能属于同一类别，即结点的"纯度"越来越高。其准则就是信息增益或信息增益比。 信息熵：信息熵越小代表的样本纯度越高。 信息增益：信息增益越大，则意味着用属

>>阅读原文<<