梯度下降优化器Optimization

前言 梯度下降算法是机器学习中使用非常广泛的优化算法，梯度可以理解成山坡上某一点上升最快的方向，它的反方向就是下降最快的方向。要想下山最快，那么就要沿着梯度的反方向走，最终到达山底（全局最优点）。梯度下降优化器就是为了找到最快的下山策略。目前最常用的优化器有SGD、SGD+momentum、NAG、adagrad，Adam等。 1、SGD 随机梯度下降算法通常还有三种不同的应用方式，它们分别是SG

>>阅读原文<<