最大熵模型 maximum entropy model

熵：度量事物的不确定性，熵越大则越混乱。在信息论中，熵描述随机变量的不确定程度。 最大熵原理： 最大熵原理为在满足约束条件的模型中选取熵最大的模型。可以理解为对一个随机事件的概率分布进行预测时，预测应当满足全部已知条件，而对未知的情况不要做任何主观假设。在这种情况下，概率分布最均匀，预测的风险最小。 最大熵模型的学习 对于给定的训练数据集T={(x1,y1),(x2,y2),…,(xn,yn)}以

>>阅读原文<<