机器学习实战 -----决策树代码学习笔记（三）

ID3 算法是通过计算信息增益来进行类别的划分。 信息增益g(D,A)=H(D)-H(D|A),熵与经验条件熵的差。D是数据集，A是特征 信息增益的理解： 对于待划分的数据集D，其 entroy(前)是一定的，但是划分之后的熵 entroy(后)是不定的，entroy(后)越小说明使用此特征划分得到的子集的不确定性越小（也就是纯度越高），因此 entroy(前) - entroy(后)差异越大，说

>>阅读原文<<