决策树模型之ID3算法、C4.5算法和CART算法

决策树模型是一种常用的有监督的学习模型，其主要用来解决分类问题，但是也可用来解决回归问题。 信息熵和信息增益 我们先来了解两个概念，信息熵与信息增益。 信息熵 信息熵用来表示事物的不确定性或不纯性，信息熵越大，则表示该事物的不确定性或不纯性越大。 信息熵的公式为： H ( x ) = − ∑ i = 1 n p i l o g p i H(x)=-\sum_{i=1}^{n}p_ilogp_i H

>>阅读原文<<