100天搞定机器学习|Day55 最大熵模型

一、熵的定义html 熵最先是一个物理学概念，由克劳修斯于1854年提出，它是描述事物无序性的参数，跟热力学第二定律的宏观方向性有关：在不加外力的状况下，老是往混乱状态改变。熵增是宇宙的基本定律，天然的有序状态会自发的逐步变为混沌状态。1948年，香农将熵的概念引伸到信道通讯的过程当中，从而开创了”信息论“这门学科。香农用“信息熵”来描述随机变量的不肯定程度，也即信息量的数学指望。关于信息熵、条件

>>阅读原文<<