python机器学习决策树理论知识

决策树 以信息熵为度量构造一颗熵值下降最快的数,到叶子节点处的熵值为零,此时每个叶子节点中的实例都属于同一类 1. 信息熵 2. 条件熵 在X发生的前提下,Y发生"新"带来的熵 H(Y|X) = H(X,Y) - H(X) 3. 相对熵 两个随机变量之间的相对距离 4. 互信息 两个随机变量X,Y的互信息 I(X,Y) = H(X) + H(Y) - H(X, Y) H(X|Y) <= H(X)

>>阅读原文<<