最大熵模型(Maximum Entropy Model)---笔记

最大熵模型和逻辑回归模型都是线性对数模型，一般应用在分类问题中，这两个模型都具有很好的分类能力。在我看来都是具有一个比较特殊的分布函数或者分布特征，很适合分类。其中，最大熵模型(Maximum Entropy Model)由最大熵原理推导实现。此外，最大熵原理指：学习概率模型时， 在所有可能的概率模型(分布)中， 熵最大的模型是最好的模型， 表述为在满足约束条件的模型集合中选取熵最大的模型。 假设

>>阅读原文<<