最大熵模型

什么是最大熵模型？最大熵是模型学习的一个准则，将其推广到分类问题就是最大熵模型。基于最大熵原理的分类器是以最大化事件概率的熵值下（与极大似然下极大化样本出现概率是并列的概念），求出对应的分布参数值，即最大熵模型的目标函数是模型概率熵。 为什么基于最大化熵能够得到一个可行的分类模型？最大熵描述的是这样一个自然事实，即基于当前已知前提下，也就是约束下，未知事件的概率尽可能的相互接近最符合事物的自然规律

>>阅读原文<<