数学之美：谈谈最大熵模型

一个色子，当对其一无所知时，我们会假设色子每个面出现的概率为1/6；如果已知一个面的概率为1/3，则我们会假设其他面概率为2/15。当我们对一个随机事件的概率进行预测时，我们的预测应当满足所有的已知条件，而对其他未知情况不要做任何主观假设，在这种情况下，概率分布均匀，预测的风险最小，这时的概率分布的信息熵最大。因此叫做最大熵模型。这就是我们通常所说的不要把鸡蛋放在一个篮子里。朴素的理解是当我们遇到

>>阅读原文<<