二次代价函数、交叉熵代价函数、对数似然代价函数的应用场景

二次代价函数的局限性 首先来说一下二次代价函数的局限性，看下面这张图： 假设现在使用的激活函数是sigmoid，并且代价函数是二次代价函数，我们收敛得目标是1，那么A点的梯度比较大，B点由于离目标比较近梯度小，所以是合理的；但是如果我们的收敛目标是0，那么A点离目标比较近，所以梯度应该要小于B点，但是图中明明是A点的梯度大于B点，这是不合理的。 交叉熵 正式由于二次大家函数的这个局限性，我们需要引

>>阅读原文<<