深度学习优化算法解析(Momentum, RMSProp, Adam)

以前看了不少人介绍网络的优化器optimizer，无奈不少都把简单的东西讲的复杂化了，不容易让人懂，刚好以前看过吴恩达老师的最新的课程，这里结合老师讲的和我的想法写一下，方便别人同时也为本身之后回顾吧。web 深度学习的优化算法主要有GD，SGD，Momentum，RMSProp和Adam算法吧，还有诸如Adagrad算法，不过大同小异，理解了前面几个，后面的也就引刃而解了。GD算法，SGD算法以

>>阅读原文<<