最大熵模型

1. 最大熵原理 最大熵原理 是 概率模型学习的一个准则。 评价一个模型的好坏是根据熵的大小，熵大说明模型越好。因此可以理解，最大熵原理就是满足一定的约束条件下，选择熵最大的模型。 计算最大熵：两个前提问题： 解决问题要满足一定约束 不做任何假设，就是在约束外的事件发生概率为等概率 举个栗子： （1）假设随机变量X有5个取值 ｛A,B,C,D,E｝；估计各个值概率P(A),P(B),P(C),P(

>>阅读原文<<