最大熵模型

最大熵(maximum entropy model)由最大熵原理推导实现。这里首先叙述一般的最大熵原理，然后讲解最大熵模型的推导，最后给出最大熵模型学习的形式。 最大熵原理 最大熵原理是概率模型学习的一个准则。最大熵原理认为，学习概率模型时，在所有可能的概率模型（分布）中，熵最大的模型是最好的模型。 最大熵原理也可以表述为在满足约束条件的模型中选取熵最大的模型。 假设离散型随机变量X的概率分步是

>>阅读原文<<