最大熵模型

1.自信息量：定义为，表示事件发生概率越大，自信息量越少，反之，自信息量越多。 2.熵(香浓熵)：自信息量的期望。熵越大系统越混乱，也越稳定，因为事物总是自发的变得无序。熵越大系统不确定性越大。当时，熵值达到最大，不确定性达到最大，见下图。                                                           熵的值总是满足              

>>阅读原文<<