神经网络中误差值计算公式的选取

（1）第一种可以清晰地看到由于正负抵消，总体误差和为0相当于总体没有误差，即使正负不能完全抵消也不符合真实情况。因此这种方式不是一种很好的测量方式。 （2）第二种采用绝对值，因为不考虑符号，解决了误差相互抵消问题。但这样的误差函数图像是V字行的，在最小值附近不连续。因此这种方式不是一种很好的测量方式。 （3）第三种采用差的平方，使得误差函数平滑连续，并容易计算梯度下降的斜率，越接近最小值梯度越小，

>>阅读原文<<