Datawhale任务三：决策树算法梳理

决策树算法梳理 一、信息论基础（熵 联合熵 条件熵 信息增益 基尼不纯度） 1.熵 本是热力学中表征物质状态的参量之一，用符号S表示，其物理意义是体系混乱程度的度量。对于机器学习算法来说，熵指代香农熵，是一种不确定性度量。它是表示随机变量不确定的度量，是对所有可能发生的事件产生的信息量的期望。对于事件X，有n种可能结果，且概率分别为p1，p2，…，pn，则熵H(X)为： H(X) 就被称为随机变量

>>阅读原文<<