决策树——（二）决策树的生成与剪枝ID3,C4.5

1.基本概念 在正式介绍决策树的生成算法前，我们先将之前的几个概念梳理一下： 1.1 信息熵 设 X 是一个取有限个值的离散型随机变量，其分布概率为 P(X=xi)=pi,i=1,2,...,n 则随机变量 X 的熵定义为 H(X)=−∑i=1npilogpi(1.1) 其中，若 pi=0 ，则定义 0log0=0 ；且通常 log 取2为底和 e 为底时，其熵的单位分别称为比特(bit)或纳特(

>>阅读原文<<