机器学习之信息熵

首先我们要区分信息量和信息熵的区别。 下面根据我的理解一步一步引出信息熵及其公式的来源： 信息熵的公式 先抛出信息熵公式如下： 其中 p(xi) 代表随机事件X为 xi的概率，下面来逐步介绍信息熵的公式来源！ 信息量 信息量是对信息的度量，就跟时间的度量是秒一样，当我们考虑一个离散的随机变量x的时候，当我们观察到的这个变量的一个具体值的时候，我们接收到了多少信息呢？ 多少信息用信息量来衡量，我们接

>>阅读原文<<