熵、交叉熵和KL散度的基本概念和交叉熵损失函数的通俗介绍

交叉熵（也称为对数损失）是分类问题中最常用的损失函数之一。但是，由于当今庞大的库和框架的存在以及它们的易用性，我们中的大多数人常常在不了解熵的核心概念的情况下着手解决问题。所以，在这篇文章中，让我们看看熵背后的基本概念，把它与交叉熵和KL散度联系起来。我们还将查看一个使用损失函数作为交叉熵的分类问题的示例。 什么是熵？ 为了开始了解熵到底指的是什么，让我们深入了解信息理论的一些基础知识。在这个数字

>>阅读原文<<