机器学习之熵【从定义到代码】

熵的定义 熵(entropy)的本质是一个系统“内在的混乱程度”，原是热力学概念，被香农引用到信息论中，被称为香农熵； 熵在热力学中可以理解为能量转换过程中变为新状态(浪费掉的、无法再利用的)能量称为熵, 这部分能量转换会让系统的混乱度增加，熵就是系统的混乱度；如图中冰块融化为液态水，有序排列的分子吸收能量后变得无序，状态可变，系统更混乱，因此它的熵更高；                     

>>阅读原文<<