最优化方法系列：SGD、Adam

整理一下资源，不过最好仍是根据书上的理论好好推导一下.....

文章连接：Deep Learning 最优化方法之SGD 72615436

本文是Deep Learning 之 最优化方法系列文章

 

 整个优化系列文章列表：

Deep Learning 之 最优化方法

Deep Learning 最优化方法之SGD

Deep Learning 最优化方法之Momentum（动量）

Deep Learning 最优化方法之Nesterov(牛顿动量)

Deep Learning 最优化方法之AdaGrad

Deep Learning 最优化方法之RMSProp

Deep Learning 最优化方法之Adam

在SVM里面已经讲习过SGD方法，这里重写一遍.....