机器学习第八课(决策树)

Entropy 做决策树就是建立一个entropy不断下降的树(但是如果entropy下降的太厉害会有可能过拟合) ID3  Information gain(选择entropy下降最快的) C4.5  Gain ratio CART Gini index(Gini系数可以看做为熵的一阶近似) ID3算法: 以信息增益为准则选择信息增益最大的属性。 缺点:1)信息增益对可取值数目较多的属性有所偏好
相关文章
相关标签/搜索