CS231n李飞飞计算机视觉 神经网络训练细节part2上

神经网络训练细节part2上 参数更新机制 SGD Momentum update Nesterov Momentum update AdaGrad update RMSProp update Adam update SGD 随机梯度下降： x += - learning_rate * dx 特点：如果在水平方向上梯度较小，而在垂直方向上梯度较大，会造成在水平方向更新较慢，而在垂直方向上造成上下抖

>>阅读原文<<