05 决策树——读书笔记

一、相关概念： 决策树：是一种基于特征对实例进行分类的一种树形结构。它也可以表示为if-else规则的集合，也可以看作是定义在特征空间划分上类的条件概率分布。 熵：①在化学上：代表分子的混乱程度，分子越混乱无序，熵越大；分子越有序，熵越小。 ②在信息论与概率统计中：表示随机变量不确定性的度量。随机变量x的熵的定义为： 信息熵：衡量信息有效性的一种度量方法。如果某个信息使我们的判断更加有序、清晰，熵

>>阅读原文<<