梯度下降方法

模型训练的目的是找到一组 w 和 b ，使得网络的输出拟合目标输出 定义一个代价函数，例如均方误差， 训练目的转化为最小化代价函数，使用梯度下降算法来解决最小化问题 梯度下降算法工作的方式就是重复的计算梯度，然后沿着相反的方向移动 假设最小化函数 C（v），v=v1,v2 这个函数的图像如下所示： 当我们在 v1 和 v2 方向上分别将球体移动一个很小的量，即  △v1 △v2 时，C 的变化 △

>>阅读原文<<