交叉熵，相对熵，为什么损失函数用交叉熵

前言 在处理分类问题的神经网络模型中，很多都使用交叉熵 (cross entropy) 做损失函数。 这篇文章详细地介绍了交叉熵的由来、为什么使用交叉熵，以及它解决了什么问题，最后介绍了交叉熵损失函数的应用场景。 要讲交叉熵就要从最基本的信息熵说起 1.信息熵 信息熵是消除不确定性所需信息量的度量。（多看几遍这句话） 信息熵就是信息的不确定程度，信息熵越小，信息越确定。 (因为事件都有个概率分布，

>>阅读原文<<