梯度下降优化算法综述

梯度下降优化算法综述    该文翻译自An overview of gradient descent optimization algorithms。                            各优化方法比较    下面两幅图可视化形象地比较上述各优化方法，详细参见这里，如图：    图5 SGD各优化方法在损失曲面上的表现 从上图可以看出， Adagrad、Adadelta与RMSp

>>阅读原文<<