梯度下降和反向传播

本文主要摘自《神经网络和深度学习》一书 梯度下降 对于一个很简单的代价函数： C(w,b)=12∑x||y(x)−a||2 我们把C称作二次代价函数或者均方误差或者MSE 我们想要找到一系列能让代价尽可能小的权重和偏置。采用梯度下降算法达到这个目的。 若求导是负的则可以使得球体向下滚落 △C≈∂C∂v1△v1+∂C∂v2△v2 定义 ▽C 来表示梯度向量， ▽C=(∂C∂v1,∂C∂v2)T 所以

>>阅读原文<<