8.22 数据挖掘（6）

1.决策树的收敛 收敛从叶结点开始，向上收敛，少数服从多数。 2.熵的偏差 最下面是一个惩罚公式，分子是information gain，而分母是分裂的特征个数，作为一种有效的惩罚措施。 比如，单纯的按生日辨别男女，information gain很大，entrpy为0，但是这给系统一个错误的细化特征的倾向，实际上，每个人一条规则肯定是不合适的。 3.在决策树模型中，校验集的用途是用于控制对模型的

>>阅读原文<<