决策树 Decision Tree

熵与信息增益 决策树模型本质上就是一个 IF-Then 规则的集合 决策树学习的第一步就是“特征选择” 特征选择分两个步骤进行: 选择对训练数据具有最大分类能力的特征进行树的叶子节点的分类; 选择该特征最合适的分裂点进行分裂。 熵(Entropy),是表示随机变量不确定性的度量。 假设 X X 是一个具有有限个值的离散型随机变量,服从如下的概率分布: P(X=xi)=pi,i=1,2,...,n
相关文章
相关标签/搜索