浅谈决策树

决策树（decision tree）是一种常见的机器学习方法。看了周志华西瓜书后来简要谈谈自己的认识： 首先，引入了“信息熵”的概念，信息熵（information entropy）是离散随机事件的出现概率，是衡量样本集合纯度最常用的一种指标，与热力学的熵有密切的关系。 通常，一个信源发送出什么符号是不确定的，衡量它可以根据其出现的概率来度量。概率大，出现机会多，不确定性小；反之就大。这种不确定性

>>阅读原文<<