决策树-ML之三

决策树 决策树基本概念 熵 在决策树模型中,最重要的一个概念就是熵,熵从通俗语言来讲就是信息的不确定性,比如我有一袋5个水果,不知道是什么水果,目前的不确定性是最大的,熵最大,如果拿出来一个是苹果,那么这袋水果的不确定性就减小了,熵也减小了,再拿出一个知道是梨子,熵进一步减小,直到取出所有水果,这时候不确定性最低,都确定了,熵也为0了。 熵的定义是:H(x) = -p(x)log p(x) 联合熵
相关文章
相关标签/搜索