秦曾昌人工智能课程---七、决策树集成学习Tree Ensembles

秦曾昌人工智能课程---七、决策树集成学习Tree Ensembles

1、总结

一句话总结：

其实机器模型减小variance的比较好的方式就是 多个模型取平均值

 

一、CART是什么？

classification and regression tree

 

二、决策树模型的本质是什么？

divide the input space into a few regions

 

三、咱们如何用决策树去作预测？

信息不一样属性按重要性依次下分：先划分x1的范围，这就造成了一个二叉树分支，再划分x2的范围，就造成的决策树。

叶子节点是分类，也是预测：预测的话就是不一样范围的(x1,x2)就对应了不一样的y，这个y就是能够用做预测的

叶子节点是预测值：决策树，非叶子节点就是x1，x2的范围，叶子节点就是预测的值y

 

四、CART tree 分割的一个例子？

|||-begin

x 1 | 2 3 4 | 5 6 7 8 9 10 y 0 | 1 2 3 | 4 5 6 7 8 9

|||-end

求不一样分割的重要性：若是是1.5处分割，那么loss(1.5)=每一部分的差值平方和的和，好比第二部分xi={1-9}，x平均数=5，(xi-5)^2

 

五、CART tree的本质是什么？

二分·递归·分割树：感受和线段树的分割很是类似，只不过cart tree的叶子节点是y值

 

六、如何用cart tree作集成学习？

多个角色投票产生：每一个角色可能准确度不高，可是多个角色投票起来，准确率就高了不少（和屡次模型取平均值很类似）

 

七、用cart tree作集成学习中Bagging 和 Boosting的区别是什么？

Bagging：每一个臭皮匠的能力都是同样：每一个模型是单独训练，方便作分布式，最后各个模型投票决定

Boosting：给臭皮匠分了等级：后一个模型的训练依赖于前一个，给分错的数据增长权限方便下一个模型分对，给训练的模型增长权限为了最后投票，最后也是各个模型投票决定

 

八、用cart tree作集成学习的好处是什么？

去掉了噪音：即那些不着边际的数据

 

 

 

 

2、内容在总结中