决策树（二）|特征选择 + 信息熵 +信息增益 / 信息增益比 | 《统计学习方法》学习笔记（十八）

特征选择 1. 特征选择问题 特征选择在于选取对训练数据具有分类能力的特征。这样可以提高决策树学习的效率。如果利用一个特征进行分类的结果与随机分类的结果没有很大差别，则称这个特征是没有分类能力的。经验上扔掉这样的特征对决策树学习的精度影响不大。通常特征选择的准则是信息增益或信息增益比。 特征选择时决定是决定用哪个特征来划分特征空间。 **例1：**15个样本组成的贷款申请训练数据。贷款申请人有4个

>>阅读原文<<