机器学习之决策树总结

一.熵的相关知识 1.熵，也称信息熵 是表示随机变量不确定性的度量，不确定性越大，熵越大，定义如下： 来理解一下，如果X的取值为固定某个值，这时不确定性最小，H(X)=-1*log1=0； 如果X服从均匀分布，这时不确定性最大，H(X)=log n, 所以H(X)的范围为 0<=H(X)<=log n 2.条件熵的定义： 3.信息增益： 表示得知特征X的信息而使得类Y的信息的熵减小的程度。 我们希

>>阅读原文<<