深度学习优化器 Adam 解析

源链接  https://segmentfault.com/a/1190000012668819 Adam的优点 现在很多深度网络都优先推荐使用Adam做优化算法，我也一直使用，但是对它的参数一知半解，对它的特性也只是略有耳闻，今天我终于花时间看了一下论文和网上的资料。整理如下。 Adam是从2个算法脱胎而来的：AdaGrad和RMSProp，它集合了2个算法的主要优点，同时也做了自己的一些创新，

>>阅读原文<<