最大熵模型

熵 熵H(X)又称自信息，是描述一个随机变量不确定性大小的量，熵越大则不确定性越大，则需要用更多的信息量来消除这种不确定性。前面《浅谈机器学习基础》中讲决策树的时候就提到了香农熵。 在只掌握关于未知分布的部分知识的情况下，符合已知知识的概率分布可能有多个，但使熵值最大的概率分布真实的反映了事件的分布情况。以此为依据构建的模型叫做最大熵模型，后面会详细讲，这里只做简单介绍。 然后是联合熵H(X,Y)

>>阅读原文<<