机器学习(二):决策树之ID3

文中的代码和数据集下载地址: https://github.com/TimePickerWang/MachineLearningInActioncss 介绍决策树以前先介绍两个信息论里的概念:熵和信息增益。 1.熵:表明了信息的混乱程度。也就是说熵越高,混合的数据越多,越无序。熵的计算方式以下(其中 p(xi) p ( x i ) 是样本为某一类别的几率。): python H=−∑ni=1p(x
相关文章
相关标签/搜索