决策树----第一部分（熵）

建立决策树的关键，即在当前状态下选择哪个属性作为分类依据。根据不同的目标函数，建立决策树主要有一下三种算法。 ID3 （J. Ross Quinlan-1975）核心：信息熵          (信息增益算法) C4.5—ID3的改进，核心：信息增益比 CART（Breiman-1984），核心：基尼指数   下面是对熵的介绍 熵表示随机变量的不确定性的度量，熵越大，随机变量的不确定性就越大。 熵

>>阅读原文<<