《机器学习实战》第三章决策树学习笔记

       决策树算法一般用来解决有监督的分类问题，本章主要讲解决策树中的 ID3 算法。html 1.工做原理        决策树根据特征对数据集进行划分和分类，因此关键在于如何选择特征。这里就用到了信息论的知识。在信息论与几率统计中，熵表示随机变量不肯定性的度量。熵越大，随机变量的不肯定性就越大。即在未分类以前，数据集是无序的，熵是最大的。而经过分类，能够使数据集变得更加有序，熵减少。原始

>>阅读原文<<