机器学习笔记-决策树和随机森林

预备知识； 信息熵（会在决策树和随机森林中用到） 决策树和随机森林—邹博 决策树基本原理 决策树的依据：信息熵下降；即子结点的熵小于父节点的熵； 节点的信息熵代表了节点的不确定性程度，不确定性越小，确定性越大； 原理：决策树学习采用的是自顶向下的递归方法，其基本思想是以信息熵为度量构造一棵熵值下降最快的树，到叶子节点处的熵值为零，此时每个叶子节点中的实例都属于同一类。 一个例子及其分析 （1）特征

>>阅读原文<<