机器学习 | 算法模型 —— 算法训练：损失函数之交叉熵（熵/相对熵/KL散度/sigmoid/softmax）

目录 1.信息论 1.1.信息量  1.2.熵  1.3.KL散度（相对熵） 1.4.交叉熵 2.交叉熵的类型 2.1.多分类交叉熵 2.2.二分类交叉熵 3.学习过程（以二分类为例） 3.1.第一项求偏导 3.2.第二项求偏导 3.3.第三项求导 3.4.计算结果 1.信息论 交叉熵（cross entropy）是深度学习中常用的一个概念，一般用来求目标与预测值之间的差距。同时，交叉熵也是信息论

>>阅读原文<<