信息论中的熵

导论 热力学中的熵：是表示分子状态混乱程度的物理量。 信息论中的熵：用来描述信源的不确定性大小（信息论创始人香农借用了热力学中熵的概念）。 目前在机器学习、深度学习中经常看到与熵有关的概念。 经常使用的熵概念有下列几种： 信息熵（本节内容） 交叉熵 相对熵 条件熵 互信熵 熵和信息的区别 此刻的你接受着我所产生的文字、图片，但你知道我所传递的内容并不是这些媒介本身，而是信息。我们时时刻刻都在获取信

>>阅读原文<<