什么是熵，信息熵以及粗糙熵

 熵        熵（描述事物的混乱程度），最早起源于热力学第二定律。—— 不可能把热从低温物体传到高温物体而不产生其他影响，或不可能从单一热源取热使之完全转换为有用的功而不产生其他影响，或不可逆热力过程熵的微增量总是大于零。又称“熵增定律”，表明了在自然过程中，一个孤立系统的总混乱度（即“熵”）不会减小。违反热力学第二定律的永动机又称为第二类永动机。       以物理学的角度来讲，物体都是由

>>阅读原文<<