交叉熵损失函数的多样化理解

背景： 为什么会选择交叉熵损失函数？？？ 起初大佬们想的是使用绝对值误差作为损失函数，但是由于绝对值在数学中不好计算，所以大佬们就对绝对误差进行取平方操作，为了便于计算，在前面还乘了1/2，然后多个样本的损失进行求和求均值，即MSE（最大平方估计/最大平方误差），在深度学习中，我们经常使用的激活函数是sigmoid激活函数，由于该函数直接将输出激活到(0,1)空间，导致在该函数边缘的区域进行参数w

>>阅读原文<<