【ML小结13】最大熵模型

1. 最大熵原理的定义 最大熵原理是概率模型学习的一个准则。 朴素表述:不要把所有的鸡蛋放在一个篮子里 严谨表述:在满足约束条件的模型集合中选取熵最大的模型 投资角度:风险最小 信息论角度:保留最大的不确定性,熵最大 2. 最大熵模型的定义 3. 模型求解 3.1 优化问题 3.2 模型学习:极大似然估计 最大熵模型的学习归结为对偶函数的极大化(极大似然估计:对数似然函数极大化)。 在约束最优化问
相关文章
相关标签/搜索