机器学习算法---决策树

一、决策树的分类 在创建一棵决策树的过程当中，一个很重要的问题就是：怎么样将树干分叉？ 由此问题，便引伸出了三种基本的决策树：python ID3：利用数据集的信息增益来划分，在介绍信息增益以前先来了解一下熵的概念。 对于一个数据集，其熵定义以下： H=−∑i=1np(xi)log2p(xi) 其中 p(xi) 为 xi 为某一类别的几率。 根据香农信息理论，信息熵表示了信息的不肯定度，当数据集呈

>>阅读原文<<