决策树之一：熵的理解

“熵”的通俗解释 我作了两个“直观”的解释，你们请胡乱喷。 一.问怎么理解熵？ 答： （1）我只有1个媳妇，天天晚上只能翻这一个牌子，没得选，这是最肯定的事件，没有任何有价值的信息量，因此熵是0； （2）康熙爷有30个媳妇，天天晚上从30个牌子里面任意翻一个，这是最不肯定的事件，信息量很混乱，因此熵是ln30； （3）根据（2）的结论，（1）的结论能够认为是ln1：即“肯定性是不肯定性的特殊状况”

>>阅读原文<<