logistic回归--最大熵模型（2）

文章目录 2.1.最大熵模型的定义 2.2.最大熵模型的学习 2.2.1.例子 2.2.2.极大似然估计 最大熵原理是概率模型学习的一个准则，最大熵原理认为，学习概率模型时，在所有可能的概率模型（分布）中，熵最大的模型是最好的模型。最大熵原理也可以表述为在满足约束条件的模型集合中选取熵最大的模型。 假设随机变量X的概率分布是P(X)，则其熵是 H ( P ) = − ∑ x P ( x ) l o

>>阅读原文<<