深度学习交叉熵详解

文章目录 一、信息论 1. 信息论 2. 熵 3. 相对熵（KL 散度） 4. 交叉熵 二、机器学习中交叉熵的应用 1. 为什么要用交叉熵做loss函数？ 2. 交叉熵在单分类问题中的使用 3. 交叉熵在多分类问题中的使用 一、信息论 交叉熵是信息论中的一个概念，要想了解交叉熵的本质，需要先从最基本的概念讲起。 1. 信息论 首先是信息量。假设我们听到了两件事，分别如下： 事件A：巴西队进入了20

>>阅读原文<<