神经网络与深度学习笔记（四）为什么用交叉熵代替二次代价函数

1、为什么不用 二次方代价函数 我们用的 loss 方程是 a 是 神经元的输出，其中 a = σ(z)， z = wx + b 使用链式法则求权重和偏置的偏导数有： 可知，偏导数受激活函数的导数影响 再由 sigmoid 函数可知， sigmoid 的导数在输出接近 0 和 1 的时候 是非常小的，这会导致一些实例在刚开始训练时学习得非常慢： 2、为什么要用 交叉熵 先看公式： 求权重和偏置的偏

>>阅读原文<<