使用交叉熵作为代价函数

二次代价函数（quadratic cost）： 其中，C表示代价函数，x表示样本，y表示实际值，a表示输出值，n表示样本的总数。 例如： 假如我们使用梯度下降法（Gradient descent）来调整权值参数的大小，权值w和偏置b的梯度推导如下： 其中，z表示神经元的输入。w和b的梯度跟激活函数的梯度成正比，激活函数的梯度越大，w和b的大小调整得越快，训练收敛得就越快。 假设我们的激活函数是si

>>阅读原文<<