2017年深度学习优化算法最新综述

梯度下降算法是机器学习中使用非常广泛的优化算法，也是众多机器学习算法中最常用的优化方法。几乎当前每一个先进的（state-of-the-art）机器学习库或者深度学习库都会包括梯度下降算法的不同变种实现。 但是，它们就像一个黑盒优化器，很难得到它们优缺点的实际解释。 An overview of gradient descent optimization algorithms 这篇文章旨在提供梯度

>>阅读原文<<