决策树purity/基尼系数/信息增益 Decision Trees

决策树简单描述 决策树的样子大概是这个样子的： 选择一个特征作为根节点，把这个特征划分成两个孩子节点，每个孩子节点就是原始数据集的子集，然后再找一个特征作为划分…… 划分的好坏，如图所示： 用纯度Purity来衡量划分的效果，如果划分的好，那么每一个子集都是某一类占据大多数，如果每一个子集都是跟父节点一样的状态，那么就是Low purity。 一个好的划分要满足下面两个特点： 划分是High pu

>>阅读原文<<