神经网络训练细节（二）

1、神经网络优化  SGD的问题 随机梯度降低多是在机器学习和深度学习中应用最为普遍的优化算法，但其有时学习会很是慢，特别是当梯度在水平和竖直方向上不均衡时，以下图所示：算法 在竖直方向上，梯度降低很快，而在水平方向上，梯度降低比较慢。这样，当采用随机梯度降低时，它会在竖直方向上降低的快而在水平方向上收敛的慢，这样优化路线就会如上如所示在窄轴上来回震荡。网络 动量 由于随机梯度降低算法所存在的问题

>>阅读原文<<