python机器学习之决策树

决策树整体上就是类似于一棵充满if-else的树。 信息：用来消除随机不确定性的东西。 信息熵，单位是比特，可以用来代表不确定性 策略树一种划分的依据是：信息增益 ：知道某种特征之后，不确定性减少的最多，就可以先看这个特征，即这个特征的信息增益最大 g(D，A)=H(D)-H(D/A) H(D)是信息熵，H(D/A)是条件熵，g(D,A)可以看成特征A的信息增益。 决策树太大，太深，会过于拟合，造

>>阅读原文<<