lec6 训练神经网络2

参数的更新： 详见 http://blog.csdn.net/fffupeng/article/details/72771325 SGD：（沿着梯度负方向更新参数） 在上图中x方向的长度远大于其他方向，损失函数在水平方向上比较浅，在垂直方向上比较深。如上图，很明显下降的速度比较慢。 Momentum update： 动量更新不仅考虑了当前的动量-learning_rate*dx，还考虑了之前的动量

>>阅读原文<<