SGD/Momentum/Nesterov

今天看pytorch的SGD发现了关于SGD的三种扩展，分别是SGD, Momentum, Nesterov 下面整理一下三个的原理和区别： SGD Stochastic Gradient Descent param -= lr * gradient Momentum 由于采用SGD时，使用mini-batch会使得计算的梯度有较大波动. Momentum的引入可以缓解这个问题，并且加速收敛过程。

>>阅读原文<<