【ML小结13】最大熵模型

1. 最大熵原理的定义 最大熵原理是概率模型学习的一个准则。 朴素表述：不要把所有的鸡蛋放在一个篮子里 严谨表述：在满足约束条件的模型集合中选取熵最大的模型 投资角度：风险最小 信息论角度：保留最大的不确定性，熵最大 2. 最大熵模型的定义 3. 模型求解 3.1 优化问题 3.2 模型学习：极大似然估计 最大熵模型的学习归结为对偶函数的极大化（极大似然估计：对数似然函数极大化）。 在约束最优化问

>>阅读原文<<