机器学习中的一些信息论 information theory

信息量： 若是事情x发生，那么 p(x) 能为“事件x发生”所提供的信息量： web h(X)=−log2p(x) 也就是消除事情不肯定性所须要的信息量，单位是 比特 国足取得冠军的几率是0.01 h(国足取冠)=−log20.01=4.6比特 羽毛球队取得冠军的几率是0.9 h(国羽取冠)=−log20.9=0.1比特 在信息论中，熵是接收的每条消息中包含的信息的平均量，它是不肯定性的度量，越随

>>阅读原文<<