梯度下降（gradient descent）原理

目标：解决多变量函数的最优化问题 例如神经网络中的损失函数（loss function）： C ( w , b ) = 1 2 n ∑ x ∥ y ( x ) − a ∥ 2 C(w,b)=\frac{1}{2n}\sum_{x}\|y(x)-a\|^2 C(w,b)=2n1​x∑​∥y(x)−a∥2 其中 w w w和 b b b为网络的参数， x x x为训练样本， n n n为训练样本的数目

>>阅读原文<<