梯度下降总结

梯度下降是我们在训练神经网络时用于训练参数的方法，本文总结了目前常用的几种梯度下降算法，包括原理、公式推导、解决的问题，主要要SGD、Momentum、NAG、AdaGrad、AdaDelta、RMSProp、Adam，先贴上手写的笔记，有时间再翻译过来。 几种算法的可视化结果如下，阅读完后边的笔记后可以返回来看助于理解， 笔记：

>>阅读原文<<