机器学习笔记（决策树）

熵概念 一条信息的不确定性和它的不确定性有直接关系。比如一个非常不确定的信息，为了弄懂它，我们需要了解大量关于它的信息，信息量的度量就等于信息的不确定性大小（熵的大小）。 例如：班级里谁会当选班长？ 用比特还衡量信息的多少： -（p1 * log_2(p1) + p2 * log_2(p2) + …+ pn * log_2(pn)） 用上方的公式来衡量熵的值。 pn指的是第n个人当选上班长的可能性

>>阅读原文<<