决策树与熵

一.熵 自然界中的熵: 自封闭系统的运动总是倒向均匀分布:   1.自信息: 信息: i(x) = -log(p(x))   a.如果说概率p是对确定性的度量 b.那么信息就是对不确定性的度量 c.当一个小概率事件发生了,这个事件的信息量很大;反之如果一个大概率事件发生了,这个事件的信息量就很少。 2.熵:自信息的期望 熵是对平均不确定性的度量. 熵的理解:熵其实定义了一个函数(概率分布函数)到一
相关文章
相关标签/搜索