追根究底 - 最大熵模型

什么是熵 熵在统计物理中用于度量一个热力学系统的无序程度。热力学第二定律，又称“熵增 定律”，表明了在自然过程中，一个孤立系统的总混乱度（即“熵”）不会减小，在信息论中，熵被用来衡量一个随机变量出现的期望值。它代表了在被接收乊前，信 号传输过程中损失的信息量，又被称为信息熵。信息熵也称信源熵、平均自信息量。 在1948年，香农将热力学的熵，引入到信息论，因此它又被称为香农熵。 最大熵模型 - 概念

>>阅读原文<<