机器学习中的各种熵

1、熵 熵：熵，热力学中表征物质状态的参量之一，用符号S表示，其物理意义是体系混乱程度的度量。 从统计的角度来看，概率分布是对随机变量的刻画，而熵就是对不同概率分布的刻画！本质上，熵是为了描述不确定的程度，并以此对不同的概率分布进行比较。 举个例子，两枚硬币，一个上抛一次正面朝上概率是0.5,另一个是0.8，此时，假设两枚硬币上抛一次落下后朝上的面分别是x,y。此时，我们可以很容易确定随机变量x,

>>阅读原文<<