数据挖掘——分类——决策树算法之ID3与C4.5原理解析

决策树算法属于数据挖掘中的分类中的一种方法，决策树包含经典的ID3和C4.5算法。web ID3原理解析 ID3利用信息论中的信息熵和信息增益的概念 熵表征物质的混乱程度，越混乱熵值越高，反之熵值越低。 在ID3方法中利用熵减思想，能够简单这么理解： 选择某一属性做为根节点，使得最终所分得的类别的混乱度最小，即类别之间清晰可辨。 信息增益：能够简单理解为熵变，表征某一属性在整体数据集中的重要程度。

>>阅读原文<<