决策树学习笔记1

一、衡量标准： 1、熵：随机变量不确定性的度量 2、信息增益：特征X使类Y的不确定性减少的程度 举例计算：有如下数据，4个特征，1个结果（play） 计算类Y(打不打球)的熵值：0.94； Outlook = sunny 的熵值计算： -2/5*log2(2/5)-3/5*log2(3/5) = 0.971; 3、信息增益率： 二、算法分类： 1、ID3； 2、C4.5;(解决ID3问题，考虑自身

>>阅读原文<<