一文读懂交叉熵的基本概念

在模型构建完毕后，下面的工做就是定义损失函数。损失函数的功能在于，衡量实际输出值和预期输出值之间的差别程度，井借此调节网络的参数。 对于多分类问题，最经常使用的损失函数就是交叉熵函数( Cros-enrorp）那什么是交叉熵呢?说到交叉熵，就不得不提一下“熵”的概念。熵的概念源自热力学。它是系统混乱度的度量，越有序，熵越小。反之，越杂乱无序，熵就越大。 在信息领域，信息论的开创者香农(Claude

>>阅读原文<<