决策树知识总结+随机森林(两个随机)

决策树：以树形结构表示决策过程的模型。

经常使用于分类过程，但也能够用于回归，分类模型时中间节点为属性，叶子节点为类别。

特色：

• 决策过程能够表示成 If Then 形式.
• 推理过程彻底依赖于属性变量的取值特色
• 结束条件：a.数据都属于同一类别。b.属性已经用完(此时投票法决定类别)

经常使用的决策树算法(树的生成过程)

1. ID3算法，采用做为信息增益度度量指标,经过最大化信息增益来选择属性。经过在验证集上的效果来剪枝(预剪枝+后剪枝，防止过拟合的的主要手段)。

• 缺点：
  • 偏向于选择取值较多的特征,例如，生日、身份证(对未知样本的预测几乎没有帮助)。改进：信息增益比,C4.5的作法。

2. 分类回归树 CART(Classification and Regression Trees)：二元划分(二叉树)。分类时度量指标为Gini指标(最小化基尼指数)、 Towing；回归问题时，度量指标觉得最小平方残差。直观来讲， Gini(D) 反映了从数据集D 中随机抽取两个样本，其类别标记不一致的几率。所以， Gini(D) 越小，则数据集D 的纯度越高。设结点数据集为 D ，对每一个特征 A ，对其每一个值 a ，根据样本点对A=a 的测试为是或否，将 D 分为 D1 D2 ，计算 A=a 的基尼指数。

随机森林，2个随机(bootstrap+特征m)

随机森林在 bagging基础上作了 修改：

• 应用 bootstrap 法有放回地随机抽取 k个新的自助样本集(boostrap)，并由此构建 k 棵分类树(ID3 、 C4.5 、 CART)样本扰动。
• 先随机选择属性子集，个数为k，而后再从这个子集中选择一个最优属性用于划分。属性扰动