梯度降低优化器Optimization

前言html 梯度降低算法是机器学习中使用很是普遍的优化算法，梯度能够理解成山坡上某一点上升最快的方向，它的反方向就是降低最快的方向。要想下山最快，那么就要沿着梯度的反方向走，最终到达山底（全局最优势）。梯度降低优化器就是为了找到最快的下山策略。目前最经常使用的优化器有SGD、SGD+momentum、NAG、adagrad，Adam等。算法 一、SGD机器学习 随机梯度降低算法一般还有三种不一样

>>阅读原文<<