最大熵模型

一 信息熵 1.自信息 i = -log(p(x)) 某件事发生的概率越大，富含信息越少。例如明天太阳从东边出来这句话的有用的信息其实是很少的，但是明天要下雨这句话富含的信息就比前一句话多了。p(下雨)<p(太阳从东边出来) 2.熵 自信息的期望 3.条件熵 其实还有互信息，平均互信息，交叉熵等等的概念，这里就不介绍了，以后会专门写一篇关于信息熵的。 二最大熵值模型 1.简介（参考了http://

>>阅读原文<<