决策树之信息熵的理解

决策树创建 本文上一节已经讨论如何用一棵决策树进行分类。本节将经过特征选择、剪枝，介绍如何根据已有的样本数据创建一棵决策树。函数 首先介绍下特征选择。选择一个合适的特征做为判断节点，能够快速的分类，减小决策树的深度。决策树的目标就是把数据集按对应的类标签进行分类。最理想的状况是，经过特征的选择能把不一样类别的数据集贴上对应类标签。特征选择的目标使得分类后的数据集比较纯。如何衡量一个数据集纯度，这里

>>阅读原文<<