熵的理解(机器学习)

一、熵的作用        我所理解的熵，其实就是为了对数据的无序状态进行度量。   二、引出熵的前提：自信息        自信息通俗理解，其实是指该信息对于人们的震撼程度。自信息也称为信息量，可以这样理解，在生活中如果一件事经常发生(如“cxk说他会打篮球，唱，rap”)，人们往往不会那么关注了，即给人感觉，这样的事件提供的信息量很少（很无聊）；但如果一件很少发生的事突然发生(如地球不转了(。

>>阅读原文<<