损失函数和过拟合

一、二次代价函数(quadratic cost) 其中，C表示代价函数，x表示样本，y表示实际值，a表示输出值，n表示样本的总数。为简单起见 ，同样一个样本为例进行说明，此时二次代价函数为： a=σ(z), z=∑Wj*Xj+b σ() 是激活函数 假如我们使用梯度下降法(Gradient descent)来调整权值参数的大小，权值w和偏置b的梯度推导 如下： 其中，z表示神经元的输入，σ表示激活

>>阅读原文<<