最大熵模型（MaxEnt）：万法归宗（下）

在上一篇文章【1】中，我们已经得到了与最大熵模型之学习等价的带约束的最优化问题： 注意上述公式中还隐含一个不等式约束即 P(y|x)≥0。求解这个带约束的最优化问题，所得之解即为最大熵模型学习的解。本文就来完成这个推导。 现在这里需要使用拉格朗日乘数法，并将带约束的最优化之原始问题转换为无约束的最优化之对偶问题，并通过求解对偶问题来求解原始问题。首先，引入拉格朗日乘子，并定义拉格朗日函数L(P,

>>阅读原文<<