关于“熵”家族的那些事

关于"熵"家族的那些事 在信息论与概率统计学中，熵（entropy）是一个很重要的概念。在机器学习与特征工程中，熵的概念也用得很多。这里简单总结，权当笔记。 0.熵 熵和概率十分相近，但又不同。概率是真实反映变化到某状态的确信度。而熵反映的是从某时刻到另一时刻的状态有多难以确定。阻碍生命的不是概率，而是熵。 生命活着就是在减熵。 生命要在这个变化的世界中生存，它就需要知道如何根据环境变化做出相应的

>>阅读原文<<