数据仓库与数据挖掘-决策树-ID3算法 个人笔记

声明：文中内容基于山东某高校数据挖掘课程的课件，本系列文章为课程内容的个人总结以及笔记内容。 信息熵 信息熵标识离散随机事件出现的概率，一个系统越是有序，信息熵就越低。反之，一个系统越混乱，它的信息熵就越高。 信息熵是系统有序化程度的一个度量。 信息增益 信息增益标识得知特征X的信息后，而使得Y的不确定性减少的程度。 举个例子： 构造一个决策树： 1、训练样本的信息值 2、第一棵树，计算样本的信息

>>阅读原文<<