深度学习中常见的优化方法（from SGD to AMSGRAD）和正则化技巧

转载自【泡泡机器人原创专栏】https://mp.weixin.qq.com/s/NmSVXezxsQOZzK8pne3pCw 一．优化方法 这里介绍的优化方法包括:SGD,两种带动量的SGD,AdaGrad,RMSProp,Adadelta,Adam, AMSGRAD，基本涵盖了常用的一些优化算法。先介绍一下优化方法，这里需要注意一下，在深度学习当中，优化的问题是在于鞍点而不是所谓的局部最小值点

>>阅读原文<<