理解最大熵模型

目录 1.什么是最大熵模型 2.相关数学知识 3.最大熵模型的定义 4.最大熵模型的学习 5.最优化算法 6.参考资料 1.什么是最大熵原理 例子1:假设随机变量X有5个取值{A,B,C,D,E},要估计各个值的概率P(A),P(B),…,P(E). 这些概率值满足条件P(A)+P(B)+P(C)+P(D)+P(E)=1 但是满足这个条件的概率分布有无数个。如果没有其他信息,一个可行的办法就是认为

>>阅读原文<<