熵、信息增益

1.什么是熵（Entropy）算法 在 信息论 里面，熵是对不肯定性的测量，熵越高，则能传输越多的信息，熵越低，则意味着传输的信息越少。熵度衡量了系统的不肯定性，当咱们缺少对某个系统的知识，其不肯定性也随着增长。例如 抛硬币，在理想状况下他们没法预测出现的是正面仍是反面，此时熵达到最大。可是对于“明天太阳从东方升起”，咱们彻底能够依靠目前的知识，预测该事件确定会发生，信息熵最小。机器学习 熵的定义

>>阅读原文<<